Sistema GB300 NVL72 atinge 1000 tokens por segundo com DeepSeek Flash
O sistema GB300 NVL72 alcançou alto desempenho de processamento no modelo DeepSeek Flash v4.1 utilizando técnicas de otimização de kernels.
||
29/10 às 12:40
Pontos principais
- O sistema GB300 NVL72 atingiu cerca de 1000 tokens por segundo por usuário.
- O desempenho foi registrado no modelo DeepSeek Flash v4.1.
- A otimização ocorreu através da fusão agressiva de kernels.
- O projeto envolveu colaboração entre as equipes do SGLang, Radix e NVIDIA.
O sistema GB300 NVL72 alcançou a marca de aproximadamente 1000 tokens por segundo por usuário ao rodar o modelo DeepSeek Flash v4.1. O resultado foi obtido por meio da fusão agressiva de kernels, uma técnica de otimização que utiliza o motor SGLang.
O desenvolvimento contou com a colaboração das equipes do SGLang, Radix e NVIDIA. A abordagem de megakernel engines, utilizada no processo, foi anteriormente popularizada pelo TileRT.
Cobertura da mídia
Leia também
Sistema GB300 NVL72 atinge 1725 tokens por segundo com DeepSeek
12 nov, 15:10
Nvidia atinge 850 tokens por segundo com sistema Rubin NVL72
27 out, 14:40
Sistema Rubin NVL72 da Nvidia atinge 862 tokens por segundo
22 out, 23:10
SGLang integra suporte a megakernel e amplia desempenho de IA
19 out, 22:10
Sistema Nvidia SGLang Rubin supera desempenho do GB300 NVL72
14 out, 00:10
Comentários (0)
Seja o primeiro a comentar.
