Daily Journal
Daily Journal

AMD supera desempenho do chip B200 da Nvidia em inferência agentica

Equipe da AMD alcançou o dobro de performance por dólar em relação ao chip B200 da Nvidia utilizando otimizações de software no servidor MI355X.

Daily Journal
||
31/10 às 16:40

Pontos principais

  • O ganho de desempenho foi obtido com o uso de kernels AITER e MonoKernel decode.
  • O servidor MI355X conta com 2304GB de HBM, eliminando a necessidade de rede externa de 8x400Gbit/s.
  • O chip B200 da Nvidia possui menos de 1.5TB de HBM, dependendo de comunicação entre servidores.
  • O projeto contou com a colaboração da equipe vLLM para otimizar a inferência Kimi K3.

A equipe liderada por Anush Elangovan, na AMD, atingiu um desempenho até duas vezes superior por dólar em comparação ao chip B200 da Nvidia. O resultado foi alcançado na inferência agentica Kimi K3 através de otimizações de software, incluindo a implementação de kernels AITER e MonoKernel decode, em colaboração com a equipe vLLM.

O servidor MI355X da AMD utiliza 2304GB de HBM, o que permite processar cargas de trabalho sem a necessidade de uma rede de escala externa de 8x400Gbit/s. Em contraste, o chip B200 da Nvidia dispõe de menos de 1.5TB de HBM, exigindo comunicação constante entre servidores para realizar as mesmas tarefas.

Cobertura da mídia

Leia também

Comentários (0)

Seja o primeiro a comentar.