Nvidia atinge 850 tokens por segundo com sistema Rubin NVL72
O novo sistema Rubin NVL72 da Nvidia demonstrou alta performance em modelos de 2,8 trilhões de parâmetros, superando benchmarks anteriores.
Pontos principais
- O sistema Rubin NVL72 Kimi K3 alcançou mais de 850 tokens por segundo por usuário.
- Os testes foram realizados em modelos de linguagem com 2,8 trilhões de parâmetros.
- O hardware apresentou um throughput três vezes superior no projeto vLLM.
- A versão Rubin Software 1.0 GA tem lançamento previsto para breve.
A Nvidia submeteu o sistema Rubin NVL72 Kimi K3 para avaliação, registrando um desempenho superior a 850 tokens por segundo por usuário. O teste foi conduzido utilizando modelos de 2,8 trilhões de parâmetros, demonstrando um throughput três vezes maior do que o observado anteriormente no projeto vLLM.
O avanço técnico marca uma etapa importante para a arquitetura de processamento da empresa. A expectativa agora se volta para a disponibilização comercial do software, com o lançamento da versão Rubin Software 1.0 GA previsto para ocorrer em breve.
Cobertura da mídia
Leia também
AMD supera desempenho do chip B200 da Nvidia em inferência agentica
31 out, 16:40
Sistema Rubin NVL72 da Nvidia atinge 862 tokens por segundo
22 out, 23:10
Nvidia amplia desempenho de modelos de IA com otimização no vLLM
17 out, 22:40
Arquitetura NVIDIA Vera Rubin NVL72 supera GB300 em eficiência
9 out, 14:40
TPUv7 supera performance da NVIDIA GB200 em testes de vLLM
23 set, 16:10
Comentários (0)
Seja o primeiro a comentar.
