Sistema GB300 NVL72 atinge 1725 tokens por segundo com DeepSeek
O hardware GB300 NVL72 alcançou alta performance em inferência utilizando a tecnologia TileRT MegaKernels no modelo DeepSeek v4.1 Flash.
||
12/11 às 15:10
Pontos principais
- O sistema GB300 NVL72 atingiu 1725 tokens por segundo por usuário.
- A marca foi registrada utilizando o modelo DeepSeek v4.1 Flash.
- O desempenho foi viabilizado pela configuração TP24 com TileRT MegaKernels.
- A velocidade é duas vezes superior aos motores de inferência de propósito geral.
O sistema GB300 NVL72 alcançou a marca de 1725 tokens por segundo por usuário ao processar o modelo DeepSeek v4.1 Flash. O resultado foi obtido por meio da configuração TP24, utilizando a tecnologia TileRT MegaKernels para otimizar a decodificação.
Essa performance representa uma velocidade duas vezes maior do que a apresentada por motores de inferência de propósito geral. Atualmente, a tecnologia TileRT passa por testes para suportar multi-concorrência no hardware GB300 NVL72.
Cobertura da mídia
Leia também
Sistema GB300 NVL72 atinge 1000 tokens por segundo com DeepSeek Flash
29 out, 12:40
Nvidia atinge 850 tokens por segundo com sistema Rubin NVL72
27 out, 14:40
Sistema Rubin NVL72 da Nvidia atinge 862 tokens por segundo
22 out, 23:10
DeepSeek V4.1 Flash 1017 atinge 1.521 tokens por segundo na Fireworks
21 out, 15:40
Sistema Vera Rubin NVL72 supera GB300 em eficiência de inferência
20 out, 00:45
Comentários (0)
Seja o primeiro a comentar.
