AMD MI355x supera B300 em custo por token no benchmark AgentX
O novo processador AMD MI355x apresentou melhor custo total de propriedade por token que o B300 em testes de baixa interatividade no AgentX.
Pontos principais
- O hardware AMD MI355x superou o B300 em métricas de custo total de propriedade (TCO) por token.
- A vantagem de desempenho foi observada especificamente em faixas de interatividade mais baixas.
- O teste utilizou o benchmark AgentX com configurações de alto throughput em arquiteturas desagregadas.
- O resultado foi alcançado por meio de uma colaboração entre engenheiros da vLLM, AMD e LMCache.
A consultoria SemiAnalysis divulgou dados indicando que o novo processador AMD MI355x superou o modelo B300 em métricas de custo total de propriedade (TCO) por token. O desempenho superior foi registrado durante a execução do benchmark AgentX, focado em faixas de interatividade mais baixas. De acordo com os relatórios, ambas as configurações de alto throughput utilizadas nos testes operam sob arquiteturas desagregadas, otimizando a eficiência do hardware. O avanço é resultado de uma colaboração técnica envolvendo engenheiros da vLLM, da própria AMD e da LMCache. A eficiência em TCO é um fator crítico para a viabilidade econômica de data centers que processam grandes volumes de tokens, posicionando o MI355x como uma alternativa competitiva no mercado de infraestrutura para inteligência artificial.
Comentários
Carregando comentários...
