Daily Journal
Daily Journal

Fireworks AI lança otimização para treinamento do modelo Kimi K3

A Fireworks AI apresentou novas soluções de treinamento e infraestrutura para o modelo Kimi K3, visando maior eficiência em modelos de larga escala.

Daily Journal
Foto: x.com
||
23/10 às 16:45

Pontos principais

  • A Fireworks otimizou o treinamento e a atualização de pesos para modelos de 2,8 trilhões de parâmetros.
  • O novo MoE Mega Kernel oferece até 2,61 vezes mais velocidade em forward passes comparado ao DeepEPv2.
  • O sistema de cache coordenado reutiliza cerca de 99% dos tokens de prompt em contextos longos.
  • A empresa disponibilizou o treinamento serverless para o modelo Kimi K3 via Fireworks Training API.

A Fireworks AI anunciou melhorias técnicas para o treinamento do modelo Kimi K3, focando em modelos de 2,8 trilhões de parâmetros. A solução introduz o MoE Mega Kernel, que acelera forward passes em até 2,61 vezes em relação ao DeepEPv2. Além disso, um sistema de cache coordenado permite a reutilização de 99% dos tokens de prompt. O suporte ao treinamento serverless já está disponível por meio da Fireworks Training API.

Cobertura da mídia

Leia também

Comentários (0)

Seja o primeiro a comentar.