Daily Journal
Daily Journal

Sistema GB300 NVL72 atinge 1000 tokens por segundo com DeepSeek Flash

O sistema GB300 NVL72 alcançou alto desempenho de processamento no modelo DeepSeek Flash v4.1 utilizando técnicas de otimização de kernels.

Daily Journal
Foto: x.com
||
29/10 às 12:40

Pontos principais

  • O sistema GB300 NVL72 atingiu cerca de 1000 tokens por segundo por usuário.
  • O desempenho foi registrado no modelo DeepSeek Flash v4.1.
  • A otimização ocorreu através da fusão agressiva de kernels.
  • O projeto envolveu colaboração entre as equipes do SGLang, Radix e NVIDIA.

O sistema GB300 NVL72 alcançou a marca de aproximadamente 1000 tokens por segundo por usuário ao rodar o modelo DeepSeek Flash v4.1. O resultado foi obtido por meio da fusão agressiva de kernels, uma técnica de otimização que utiliza o motor SGLang.

O desenvolvimento contou com a colaboração das equipes do SGLang, Radix e NVIDIA. A abordagem de megakernel engines, utilizada no processo, foi anteriormente popularizada pelo TileRT.

Cobertura da mídia

Leia também

Comentários (0)

Seja o primeiro a comentar.