SGLang integra suporte a megakernel e amplia desempenho de IA
A nova atualização do SGLang eleva a velocidade de processamento para 1000 tokens por segundo e melhora a interatividade em chips da AMD.
Pontos principais
- O SGLang integrou suporte ao 'megakernel' em sua arquitetura.
- O sistema alcançou a marca de 1000 tokens por segundo por usuário no hardware GB300 NVL72.
- Houve um aumento de 1,5x na interatividade em chips MI355X.
- A funcionalidade já está disponível para uso nas imagens Docker do projeto.
- O desenvolvimento contou com colaboração entre SGLang, RadixArk, NVIDIA e AMD.
O SGLang anunciou a integração do suporte ao 'megakernel', uma atualização que visa otimizar o desempenho de modelos de linguagem em hardware de alta performance. Com a implementação, o sistema atingiu a marca de 1000 tokens por segundo por usuário no sistema GB300 NVL72, além de registrar um ganho de 1,5x na interatividade em chips MI355X.
A nova funcionalidade já se encontra disponível nas imagens Docker do SGLang para os usuários. O avanço é resultado de um esforço colaborativo que envolveu as equipes de engenharia do SGLang, RadixArk, NVIDIA e AMD.
Cobertura da mídia
Leia também
Sistema GB300 NVL72 atinge 1000 tokens por segundo com DeepSeek Flash
29 out, 12:40
Sistema Nvidia SGLang Rubin supera desempenho do GB300 NVL72
14 out, 00:10
TPUv7 supera performance da NVIDIA GB200 em testes de vLLM
23 set, 16:10
AMD MI355X supera desempenho por dólar do DGX B300
23 set, 11:40
AMD MI355X reduz diferença de performance frente ao GB300
15 set, 22:40
Comentários (0)
Seja o primeiro a comentar.
