Sistema Rubin NVL72 da Nvidia atinge 862 tokens por segundo
O sistema Rubin NVL72 da Nvidia alcançou um desempenho de 862 tokens por segundo por usuário ao rodar o modelo GLM5.3 744B.
||
22/10 às 23:10
Pontos principais
- O sistema Rubin NVL72 atingiu a marca de 862 tokens por segundo por usuário.
- O teste foi realizado utilizando o modelo GLM5.3 744B em cargas de trabalho agenticas.
- A Nvidia dobrou a interatividade do sistema em um período inferior a oito dias.
- O ganho de performance foi viabilizado pelo uso de kernels especializados de baixa latência.
O sistema Rubin NVL72, desenvolvido pela Nvidia, registrou um desempenho de 862 tokens por segundo por usuário durante a execução do modelo GLM5.3 744B. O resultado foi obtido em cargas de trabalho agenticas, evidenciando avanços significativos na capacidade de processamento da plataforma.
A melhoria na interatividade do sistema foi de quase duas vezes em um intervalo de menos de oito dias. Segundo informações divulgadas, esse ganho de performance foi possível graças à implementação de kernels especializados de baixa latência.
