Otimização de DRAM KVCache aumenta capacidade de tokens em GPUs B200
Nova otimização de offloading permite ganho de 20-40% na capacidade de cache de tokens em cargas de trabalho de inferência de agentes.
Pontos principais
- A ativação do offloading DRAM KVCache amplia a capacidade de cache de tokens em 20% a 40%.
- O ganho de performance é verificado em cenários com 12 a 16 sessões de agentes simultâneas.
- A GPU B200 dispõe de 180 GB de HBM, com 100 GB disponíveis para KVCache após o carregamento de pesos.
- O SGLang HiCache possibilita a transferência do KVCache para a memória DDR5 ou LPDDR5X do processador.
A implementação da otimização de offloading DRAM KVCache permite um aumento de 20% a 40% na capacidade de cache de tokens em GPUs B200. Esse ganho de performance é observado especificamente em ambientes que operam com 12 a 16 sessões de agentes simultâneas.
Atualmente, a GPU B200 possui 180 GB de HBM, restando 100 GB para o KVCache após o armazenamento dos pesos do modelo. O uso do SGLang HiCache possibilita transferir esse conteúdo para a memória DDR5 ou LPDDR5X do processador, embora o procedimento não seja necessário em cenários com baixo volume de sessões simultâneas.
Cobertura da mídia
Leia também
Claude Code recebe recurso de compactação para reduzir custos de cache
14 out, 16:10
Tecnologia Engram eleva desempenho de GPUs em até 50%
21 set, 12:10
SemiAnalysis detalha arquitetura Engrams Embedding Entendre
18 set, 12:10
Projeto vLLM amplia em 6 vezes a velocidade de inferência do modelo Kimi
3 set, 16:40
Novo framework MRAgent reduz consumo de tokens em memória de IA
26 jun, 20:03
Comentários (0)
Seja o primeiro a comentar.
