NVIDIA e parceiros alcançam ganho de 7,2x em performance de IA
Colaboração entre NVIDIA, vLLM e Inferact otimiza sistema GB300 NVL72, elevando a eficiência de performance por TCO em 7,2 vezes.
Pontos principais
- A técnica wideEP expande o domínio de scale-up para 72 GPUs no sistema GB300 NVL72.
- Otimização focada no modelo DeepSeek v4.1 Flash melhora a relação performance por TCO.
- O método wide expert parallelism reduz a carga de pesos e aumenta a intensidade aritmética.
- Performance projetada atinge entre 100 e 150 tok/s/user, superando benchmarks atuais.
A NVIDIA, em colaboração com o projeto vLLM e a Inferact, desenvolveu uma otimização para o sistema GB300 NVL72 que resultou em um ganho de 7,2 vezes na performance por TCO. O avanço utiliza a técnica wide expert parallelism (wideEP), que aproveita o backplane de cobre do hardware para expandir o domínio de scale-up para 72 GPUs, reduzindo a pressão de carregamento de pesos e elevando a intensidade aritmética.
O projeto focou na otimização do modelo DeepSeek v4.1 Flash, alcançando taxas projetadas de 100 a 150 tok/s/user. Segundo os dados reportados, essa configuração supera outras submissões atuais em até 10 a 20 vezes, estabelecendo uma nova métrica de eficiência para inferência em larga escala.
Cobertura da mídia
Leia também
Nvidia e Inferact atingem novo recorde de desempenho com sistema Rubin
12 nov, 01:15
Arquitetura NVIDIA Vera Rubin NVL72 supera GB300 em eficiência
9 out, 14:40
Testes da SemiAnalysis apontam ganho superior no sistema Rubin NVL72
16 set, 18:40
Sistema Vera Rubin NVL72 da Nvidia promete salto de desempenho
16 set, 01:40
SemiAnalysis revela sistema Vera Rubin NVL72 com foco em inferência
14 set, 19:40
Comentários (0)
Seja o primeiro a comentar.
