Nvidia amplia desempenho de modelos de IA com otimização no vLLM
Nova otimização da Nvidia aumenta em 1,68 vezes a velocidade de processamento do modelo Kimi K3, atingindo 423 tokens por segundo por usuário.
Pontos principais
- A otimização foi aplicada ao modelo Kimi K3, que possui 2,8 trilhões de parâmetros.
- O desempenho registrado foi de 423 tokens por segundo por usuário.
- O ganho de velocidade de 1,68 vezes foi obtido mantendo o mesmo hardware.
- A melhoria foi desenvolvida pela Nvidia CentML com novos kernels de decodificação.
- A empresa trabalha para implementar as otimizações no modelo DeepSeekv4.1.
A Nvidia anunciou uma otimização no vLLM que elevou a velocidade de processamento do modelo Kimi K3, de 2,8 trilhões de parâmetros, para 423 tokens por segundo por usuário. O ganho de desempenho representa um aumento de 1,68 vezes em relação à performance anterior, utilizando o mesmo hardware.
O avanço foi desenvolvido pela equipe da Nvidia CentML por meio da aplicação de novos kernels de decodificação em Cute DSL com fusão Megakernel. A companhia informou que já está trabalhando na implementação dessas otimizações para o modelo DeepSeekv4.1.
Cobertura da mídia
Leia também
Nvidia atinge 850 tokens por segundo com sistema Rubin NVL72
27 out, 14:40
Google e Inferact apresentam modelo Kimi K3 com arquitetura TPUv7
18 out, 19:10
TPUv7 supera performance da NVIDIA GB200 em testes de vLLM
23 set, 16:10
Projeto vLLM amplia em 6 vezes a velocidade de inferência do modelo Kimi
3 set, 16:40
Cerebras supera desempenho de GPUs em testes com modelo de IA
20 mai, 17:04
Comentários (0)
Seja o primeiro a comentar.
