Tecnologia Engram eleva desempenho de GPUs em até 50%
A implementação do Engram DRAM offloading otimiza o processamento em GPUs da NVIDIA e AMD, alcançando ganhos de performance de até 50%.
Pontos principais
- O Engram DRAM offloading aumenta o desempenho em até 50% nas GPUs H200, B200, B300 e GB300 NVL72.
- A tecnologia foi integrada ao projeto vLLM com suporte para ROCm.
- NVIDIA, AMD e SemiAnalysis atualizaram as recomendações de uso para incluir o recurso.
- O desenvolvimento contou com colaboração técnica de engenheiros como Emad Barsoum e Anush Elangovan.
A SemiAnalysis anunciou a implementação do Engram DRAM offloading, uma tecnologia que proporciona ganhos de desempenho de até 50% em modelos de GPUs como H200, B200, B300 e GB300 NVL72. O recurso foi integrado ao projeto vLLM, incluindo suporte para ROCm, conforme demonstrado em documentação técnica recente.
O projeto foi viabilizado por meio de uma colaboração entre engenheiros, incluindo Emad Barsoum e Anush Elangovan. Como resultado da eficácia comprovada, a NVIDIA, a AMD e a própria SemiAnalysis estão atualizando suas recomendações padrão de uso para incorporar o Engram offloading em suas operações.
Comentários
Carregando comentários...
