AMD supera desempenho do chip B200 da Nvidia em inferência agentica
Equipe da AMD alcançou o dobro de performance por dólar em relação ao chip B200 da Nvidia utilizando otimizações de software no servidor MI355X.
Pontos principais
- O ganho de desempenho foi obtido com o uso de kernels AITER e MonoKernel decode.
- O servidor MI355X conta com 2304GB de HBM, eliminando a necessidade de rede externa de 8x400Gbit/s.
- O chip B200 da Nvidia possui menos de 1.5TB de HBM, dependendo de comunicação entre servidores.
- O projeto contou com a colaboração da equipe vLLM para otimizar a inferência Kimi K3.
A equipe liderada por Anush Elangovan, na AMD, atingiu um desempenho até duas vezes superior por dólar em comparação ao chip B200 da Nvidia. O resultado foi alcançado na inferência agentica Kimi K3 através de otimizações de software, incluindo a implementação de kernels AITER e MonoKernel decode, em colaboração com a equipe vLLM.
O servidor MI355X da AMD utiliza 2304GB de HBM, o que permite processar cargas de trabalho sem a necessidade de uma rede de escala externa de 8x400Gbit/s. Em contraste, o chip B200 da Nvidia dispõe de menos de 1.5TB de HBM, exigindo comunicação constante entre servidores para realizar as mesmas tarefas.
Cobertura da mídia
Leia também
Nvidia atinge 850 tokens por segundo com sistema Rubin NVL72
27 out, 14:40
Chips da AMD geram até US$ 3 por hora com modelo Kimi K3
25 out, 20:40
AMD supera margem de lucro da NVIDIA em benchmark de inferência
18 set, 17:40
AMD MI355X reduz diferença de performance frente ao GB300
17 set, 16:40
Cerebras supera desempenho de GPUs em testes com modelo de IA
20 mai, 17:04
Comentários (0)
Seja o primeiro a comentar.
