AMD MI355X reduz diferença de performance frente ao GB300
O processador AMD MI355X apresenta avanços em inferência agentica, aproximando-se do desempenho e custo do GB300.
||
17/09 às 16:40
Pontos principais
- A melhoria de performance é impulsionada pela biblioteca MoRI e pela equipe SGLang.
- O sistema UMBP atua como backend de descarregamento de KV, otimizando o fluxo de dados.
- A arquitetura substitui o cache HiCache por um caminho direto HBM-para-DRAM.
- O novo sistema permite a deduplicação de KV e decisões globais de alocação de memória.
O processador AMD MI355X está reduzindo a diferença de performance e custo total de propriedade em relação ao GB300 no campo da inferência agentica. O avanço é sustentado pela integração da biblioteca MoRI e pelo trabalho da equipe SGLang, que otimizaram o processamento de dados.
A implementação do sistema UMBP no SGLang elimina gargalos ao substituir o cache HiCache por um caminho direto entre HBM e DRAM. Essa arquitetura permite a deduplicação de KV e a gestão centralizada de alocação e despejo de memória entre instâncias, eliminando cópias intermediárias de dados.
Comentários
Carregando comentários...
