Daily Journal
Urgente
Daily Journal

Nvidia atinge 850 tokens por segundo com sistema Rubin NVL72

O novo sistema Rubin NVL72 da Nvidia demonstrou alta performance em modelos de 2,8 trilhões de parâmetros, superando benchmarks anteriores.

Daily Journal
Foto: x.com
||
27/10 às 14:40

Pontos principais

  • O sistema Rubin NVL72 Kimi K3 alcançou mais de 850 tokens por segundo por usuário.
  • Os testes foram realizados em modelos de linguagem com 2,8 trilhões de parâmetros.
  • O hardware apresentou um throughput três vezes superior no projeto vLLM.
  • A versão Rubin Software 1.0 GA tem lançamento previsto para breve.

A Nvidia submeteu o sistema Rubin NVL72 Kimi K3 para avaliação, registrando um desempenho superior a 850 tokens por segundo por usuário. O teste foi conduzido utilizando modelos de 2,8 trilhões de parâmetros, demonstrando um throughput três vezes maior do que o observado anteriormente no projeto vLLM.

O avanço técnico marca uma etapa importante para a arquitetura de processamento da empresa. A expectativa agora se volta para a disponibilização comercial do software, com o lançamento da versão Rubin Software 1.0 GA previsto para ocorrer em breve.

Cobertura da mídia

Leia também

Comentários (0)

Seja o primeiro a comentar.