TPUv7 supera performance da NVIDIA GB200 em testes de vLLM
Mantenedores do vLLM registraram desempenho 56% superior na TPUv7 em comparação ao sistema NVIDIA GB200 NVL72 utilizando o modelo Kimi K3.
||
23/09 às 16:10
Pontos principais
- A TPUv7 atingiu a marca de 700 tokens por segundo por usuário.
- O desempenho registrado é 56% superior ao da NVIDIA GB200 NVL72.
- A otimização foi realizada através do MegaKernel no modelo Kimi K3.
- O teste foi conduzido por mantenedores do vLLM.
Mantenedores do vLLM demonstraram que a TPUv7 alcançou a marca de 700 tokens por segundo por usuário durante testes recentes. O resultado aponta uma performance 56% superior à registrada pelo sistema NVIDIA GB200 NVL72.
A otimização que permitiu o ganho de desempenho foi realizada através do MegaKernel aplicado ao modelo Kimi K3. Os dados foram divulgados pela SemiAnalysis após a condução dos testes técnicos pela equipe do vLLM.
Comentários
Carregando comentários...
