Daily Journal
Urgente
Daily Journal

Nvidia amplia desempenho de modelos de IA com otimização no vLLM

Nova otimização da Nvidia aumenta em 1,68 vezes a velocidade de processamento do modelo Kimi K3, atingindo 423 tokens por segundo por usuário.

Daily Journal
Foto: x.com
||
17/10 às 22:40

Pontos principais

  • A otimização foi aplicada ao modelo Kimi K3, que possui 2,8 trilhões de parâmetros.
  • O desempenho registrado foi de 423 tokens por segundo por usuário.
  • O ganho de velocidade de 1,68 vezes foi obtido mantendo o mesmo hardware.
  • A melhoria foi desenvolvida pela Nvidia CentML com novos kernels de decodificação.
  • A empresa trabalha para implementar as otimizações no modelo DeepSeekv4.1.

A Nvidia anunciou uma otimização no vLLM que elevou a velocidade de processamento do modelo Kimi K3, de 2,8 trilhões de parâmetros, para 423 tokens por segundo por usuário. O ganho de desempenho representa um aumento de 1,68 vezes em relação à performance anterior, utilizando o mesmo hardware.

O avanço foi desenvolvido pela equipe da Nvidia CentML por meio da aplicação de novos kernels de decodificação em Cute DSL com fusão Megakernel. A companhia informou que já está trabalhando na implementação dessas otimizações para o modelo DeepSeekv4.1.

Cobertura da mídia

Leia também

Comentários (0)

Seja o primeiro a comentar.