Tecnologia Engram eleva desempenho de GPUs em até 50%
A implementação do Engram DRAM offloading otimiza o processamento em GPUs da NVIDIA e AMD, alcançando ganhos de performance de até 50%.
Pontos principais
- O Engram DRAM offloading aumenta o desempenho em até 50% nas GPUs H200, B200, B300 e GB300 NVL72.
- A tecnologia foi integrada ao projeto vLLM com suporte para ROCm.
- NVIDIA, AMD e SemiAnalysis atualizaram as recomendações de uso para incluir o recurso.
- O desenvolvimento contou com colaboração técnica de engenheiros como Emad Barsoum e Anush Elangovan.
A SemiAnalysis anunciou a implementação do Engram DRAM offloading, uma tecnologia que proporciona ganhos de desempenho de até 50% em modelos de GPUs como H200, B200, B300 e GB300 NVL72. O recurso foi integrado ao projeto vLLM, incluindo suporte para ROCm, conforme demonstrado em documentação técnica recente.
O projeto foi viabilizado por meio de uma colaboração entre engenheiros, incluindo Emad Barsoum e Anush Elangovan. Como resultado da eficácia comprovada, a NVIDIA, a AMD e a própria SemiAnalysis estão atualizando suas recomendações padrão de uso para incorporar o Engram offloading em suas operações.
Cobertura da mídia
Leia também
Desenvolvedor cria kernels que aceleram decodificação em GPUs Hopper
31 out, 20:15
Otimização de DRAM KVCache aumenta capacidade de tokens em GPUs B200
28 out, 12:40
AMD implementa suporte para MegaKernel Decode no vLLM antes da Nvidia
13 out, 00:10
SemiAnalysis detalha arquitetura Engrams Embedding Entendre
18 set, 12:10
AMD MI355X reduz diferença de performance frente ao GB300
15 set, 22:40
Comentários (0)
Seja o primeiro a comentar.
