AMD MI355X reduz diferença de performance frente ao GB300
O acelerador MI355X da AMD ganha competitividade em inferência agentica com melhorias em software e gerenciamento de memória.
||
15/09 às 22:40
Pontos principais
- O AMD MI355X apresenta performance competitiva frente ao GB300 em inferência agentica.
- A biblioteca MoRI foi identificada como fator chave para os ganhos de eficiência.
- A integração do UMBP no SGLang substitui o modelo HiCache por um caminho direto HBM-para-DRAM.
- A arquitetura UMBP permite a deduplicação de KV e decisões globais de alocação de memória.
O acelerador AMD MI355X reduziu a diferença de performance e custo total de propriedade em relação ao GB300 para tarefas de inferência agentica. O avanço é impulsionado pela implementação da biblioteca Modular RDMA Interface, que otimiza a eficiência do hardware.
A integração do UMBP no SGLang como backend de offloading de KV substitui o modelo HiCache, estabelecendo um caminho direto entre HBM e DRAM. Essa arquitetura possibilita a deduplicação de KV e a gestão global de alocação e despejo de memória entre diferentes ranks e instâncias.
Comentários
Carregando comentários...
