Daily Journal
Daily Journal

Otimização de DRAM KVCache aumenta capacidade de tokens em GPUs B200

Nova otimização de offloading permite ganho de 20-40% na capacidade de cache de tokens em cargas de trabalho de inferência de agentes.

Daily Journal
Foto: x.com
||
28/10 às 12:40

Pontos principais

  • A ativação do offloading DRAM KVCache amplia a capacidade de cache de tokens em 20% a 40%.
  • O ganho de performance é verificado em cenários com 12 a 16 sessões de agentes simultâneas.
  • A GPU B200 dispõe de 180 GB de HBM, com 100 GB disponíveis para KVCache após o carregamento de pesos.
  • O SGLang HiCache possibilita a transferência do KVCache para a memória DDR5 ou LPDDR5X do processador.

A implementação da otimização de offloading DRAM KVCache permite um aumento de 20% a 40% na capacidade de cache de tokens em GPUs B200. Esse ganho de performance é observado especificamente em ambientes que operam com 12 a 16 sessões de agentes simultâneas.

Atualmente, a GPU B200 possui 180 GB de HBM, restando 100 GB para o KVCache após o armazenamento dos pesos do modelo. O uso do SGLang HiCache possibilita transferir esse conteúdo para a memória DDR5 ou LPDDR5X do processador, embora o procedimento não seja necessário em cenários com baixo volume de sessões simultâneas.

Cobertura da mídia

Leia também

Comentários (0)

Seja o primeiro a comentar.