Nvidia revela Groq 3 LPU e Vera CPU para inferência agêntica
Groq 3 com 500 MB de SRAM on-chip entrega 35x mais throughput por megawatt; Vera CPU com 88 núcleos Olympus sustenta 22.500 ambientes simultâneos.
Pontos principais
- Groq 3 LPU tem 500 MB de SRAM on-chip com 150 TB/s de bandwidth de memória
- Rack LPX com 256 LPUs entrega 315 PFLOPS (FP8) e 128 GB de SRAM total
- GPUs processam prompts enquanto LPUs geram tokens a latência ultrabaixa
- Throughput 35x maior por megawatt em comparação com sistemas anteriores
- Vera CPU com 88 núcleos Olympus é 50% mais rápido que x86
- Rack Vera sustenta 22.500+ ambientes simultâneos para agentes de IA
O Groq 3 LPU, primeiro chip resultante da aquisição de US$ 20 bilhões da Groq Inc. em dezembro de 2025, utiliza arquitetura baseada em SRAM com 500 MB de memória on-chip a 150 TB/s de bandwidth. O rack líquido-refrigerado LPX empilha 256 LPUs entregando 315 PFLOPS (FP8) e 40 PB/s de bandwidth on-chip. A arquitetura complementar coloca GPUs no prefill e LPUs na geração de tokens, alcançando velocidades próximas a 1.000 tokens por segundo por usuário.
O Vera CPU, primeiro processador próprio da Nvidia, traz 88 núcleos Olympus com tecnologia Spatial Multithreading, 50% mais rápidos e duas vezes mais eficientes que CPUs x86. Seu subsistema LPDDR5X entrega 1,2 TB/s de bandwidth — o dobro de CPUs tradicionais pela metade da energia. Um rack com 256 chips sustenta mais de 22.500 ambientes simultâneos para agentes de IA.
Comentários
Carregando comentários...