---
title: "Otimização de DRAM KVCache aumenta capacidade de tokens em GPUs B200"
url: https://dailyjournal.news/news/2026-10-28/otimizacao-de-dram-kvcache-aumenta-capacidade-de-tokens-em-gpus-b200
published: 2026-10-28T15:40:33.376014+00:00
updated: 2026-10-28T15:40:33.376014+00:00
categories: ["technology"]
source_count: 1
outlet_count: 0
language: pt-BR
publisher: "Daily Journal"
---

# Otimização de DRAM KVCache aumenta capacidade de tokens em GPUs B200

Nova otimização de offloading permite ganho de 20-40% na capacidade de cache de tokens em cargas de trabalho de inferência de agentes.

## Pontos principais

- A ativação do offloading DRAM KVCache amplia a capacidade de cache de tokens em 20% a 40%.
- O ganho de performance é verificado em cenários com 12 a 16 sessões de agentes simultâneas.
- A GPU B200 dispõe de 180 GB de HBM, com 100 GB disponíveis para KVCache após o carregamento de pesos.
- O SGLang HiCache possibilita a transferência do KVCache para a memória DDR5 ou LPDDR5X do processador.

A implementação da otimização de offloading DRAM KVCache permite um aumento de 20% a 40% na capacidade de cache de tokens em GPUs B200. Esse ganho de performance é observado especificamente em ambientes que operam com 12 a 16 sessões de agentes simultâneas.

Atualmente, a GPU B200 possui 180 GB de HBM, restando 100 GB para o KVCache após o armazenamento dos pesos do modelo. O uso do SGLang HiCache possibilita transferir esse conteúdo para a memória DDR5 ou LPDDR5X do processador, embora o procedimento não seja necessário em cenários com baixo volume de sessões simultâneas.

## Fontes

- [@SemiAnalysis_: ALERT🚨: The number of tokens that can be cached can increase by 20-40%🚀 by enabling DRAM KVCache offloading optimization at 12-16 concurrent agentic sessions. A B200 only has 180…](https://x.com/SemiAnalysis_/status/2115459422696636806) (2026-10-28)

---

Publicado por Daily Journal. Versão HTML: https://dailyjournal.news/news/2026-10-28/otimizacao-de-dram-kvcache-aumenta-capacidade-de-tokens-em-gpus-b200
