TPUv7 supera performance da NVIDIA GB200 em testes de vLLM
Mantenedores do vLLM registraram desempenho 56% superior na TPUv7 em comparação ao sistema NVIDIA GB200 NVL72 utilizando o modelo Kimi K3.
||
23/09 às 16:10
Pontos principais
- A TPUv7 atingiu a marca de 700 tokens por segundo por usuário.
- O desempenho registrado é 56% superior ao da NVIDIA GB200 NVL72.
- A otimização foi realizada através do MegaKernel no modelo Kimi K3.
- O teste foi conduzido por mantenedores do vLLM.
Mantenedores do vLLM demonstraram que a TPUv7 alcançou a marca de 700 tokens por segundo por usuário durante testes recentes. O resultado aponta uma performance 56% superior à registrada pelo sistema NVIDIA GB200 NVL72.
A otimização que permitiu o ganho de desempenho foi realizada através do MegaKernel aplicado ao modelo Kimi K3. Os dados foram divulgados pela SemiAnalysis após a condução dos testes técnicos pela equipe do vLLM.
Cobertura da mídia
Leia também
Nvidia atinge 850 tokens por segundo com sistema Rubin NVL72
27 out, 14:40
Sistema Rubin NVL72 da Nvidia atinge 862 tokens por segundo
22 out, 23:10
Nvidia amplia desempenho de modelos de IA com otimização no vLLM
17 out, 22:40
Google TPUv7 supera desempenho por custo de chips da Nvidia
15 out, 00:15
Google TPUv7 supera Blackwell Ultra em desempenho por dólar
8 set, 10:40
Comentários (0)
Seja o primeiro a comentar.
