Daily Journal
Urgente
Daily Journal

Nvidia e Inferact atingem novo recorde de desempenho com sistema Rubin

Sistema Rubin NVL72 apresenta desempenho 6,5 vezes superior por TCO em comparação ao GB300 NVL72 em testes vLLM.

Daily Journal
Foto: x.com
||
12/11 às 01:15

Pontos principais

  • A submissão vLLM para o sistema Rubin NVL72 superou o desempenho por TCO do GB300 NVL72 em 6,5 vezes.
  • O sistema utiliza o recurso de Mixture of Experts (MoE) com reconhecimento de localidade no CUDA 13.4.
  • A implementação no CUDA 13.4 elevou a largura de banda HBM em 1,2 vezes e reduziu a latência.
  • O avanço ocorre menos de três semanas após o lançamento do modelo MiniMax M3.1 Flash.

A Nvidia e a Inferact submeteram um benchmark vLLM para o sistema Rubin NVL72, alcançando um desempenho 6,5 vezes superior por TCO em relação ao GB300 NVL72. A arquitetura utiliza o recurso de Mixture of Experts com reconhecimento de localidade presente no CUDA 13.4, que reduziu a latência e aumentou a largura de banda HBM em cerca de 1,2 vezes. O desenvolvimento foi registrado menos de três semanas após o lançamento do modelo MiniMax M3.1 Flash.

Cobertura da mídia

Leia também

Comentários (0)

Seja o primeiro a comentar.