Daily Journal
Daily Journal

SGLang integra suporte a megakernel e amplia desempenho de IA

A nova atualização do SGLang eleva a velocidade de processamento para 1000 tokens por segundo e melhora a interatividade em chips da AMD.

Daily Journal
Foto: x.com
||
19/10 às 22:10

Pontos principais

  • O SGLang integrou suporte ao 'megakernel' em sua arquitetura.
  • O sistema alcançou a marca de 1000 tokens por segundo por usuário no hardware GB300 NVL72.
  • Houve um aumento de 1,5x na interatividade em chips MI355X.
  • A funcionalidade já está disponível para uso nas imagens Docker do projeto.
  • O desenvolvimento contou com colaboração entre SGLang, RadixArk, NVIDIA e AMD.

O SGLang anunciou a integração do suporte ao 'megakernel', uma atualização que visa otimizar o desempenho de modelos de linguagem em hardware de alta performance. Com a implementação, o sistema atingiu a marca de 1000 tokens por segundo por usuário no sistema GB300 NVL72, além de registrar um ganho de 1,5x na interatividade em chips MI355X.

A nova funcionalidade já se encontra disponível nas imagens Docker do SGLang para os usuários. O avanço é resultado de um esforço colaborativo que envolveu as equipes de engenharia do SGLang, RadixArk, NVIDIA e AMD.

Cobertura da mídia

Leia também

Comentários (0)

Seja o primeiro a comentar.