Daily Journal
Daily Journal

NVIDIA e parceiros alcançam ganho de 7,2x em performance de IA

Colaboração entre NVIDIA, vLLM e Inferact otimiza sistema GB300 NVL72, elevando a eficiência de performance por TCO em 7,2 vezes.

Daily Journal
Foto: x.com
||
14/10 às 19:40

Pontos principais

  • A técnica wideEP expande o domínio de scale-up para 72 GPUs no sistema GB300 NVL72.
  • Otimização focada no modelo DeepSeek v4.1 Flash melhora a relação performance por TCO.
  • O método wide expert parallelism reduz a carga de pesos e aumenta a intensidade aritmética.
  • Performance projetada atinge entre 100 e 150 tok/s/user, superando benchmarks atuais.

A NVIDIA, em colaboração com o projeto vLLM e a Inferact, desenvolveu uma otimização para o sistema GB300 NVL72 que resultou em um ganho de 7,2 vezes na performance por TCO. O avanço utiliza a técnica wide expert parallelism (wideEP), que aproveita o backplane de cobre do hardware para expandir o domínio de scale-up para 72 GPUs, reduzindo a pressão de carregamento de pesos e elevando a intensidade aritmética.

O projeto focou na otimização do modelo DeepSeek v4.1 Flash, alcançando taxas projetadas de 100 a 150 tok/s/user. Segundo os dados reportados, essa configuração supera outras submissões atuais em até 10 a 20 vezes, estabelecendo uma nova métrica de eficiência para inferência em larga escala.

Cobertura da mídia

Leia também

Comentários (0)

Seja o primeiro a comentar.