Fireworks AI lança otimização para treinamento do modelo Kimi K3
A Fireworks AI apresentou novas soluções de treinamento e infraestrutura para o modelo Kimi K3, visando maior eficiência em modelos de larga escala.
||
23/10 às 16:45
Pontos principais
- A Fireworks otimizou o treinamento e a atualização de pesos para modelos de 2,8 trilhões de parâmetros.
- O novo MoE Mega Kernel oferece até 2,61 vezes mais velocidade em forward passes comparado ao DeepEPv2.
- O sistema de cache coordenado reutiliza cerca de 99% dos tokens de prompt em contextos longos.
- A empresa disponibilizou o treinamento serverless para o modelo Kimi K3 via Fireworks Training API.
A Fireworks AI anunciou melhorias técnicas para o treinamento do modelo Kimi K3, focando em modelos de 2,8 trilhões de parâmetros. A solução introduz o MoE Mega Kernel, que acelera forward passes em até 2,61 vezes em relação ao DeepEPv2. Além disso, um sistema de cache coordenado permite a reutilização de 99% dos tokens de prompt. O suporte ao treinamento serverless já está disponível por meio da Fireworks Training API.
Cobertura da mídia
Leia também
Moonshot AI anuncia modelo Kimi K3.1 Pro com pesos abertos
23 out, 14:40
Fireworks AI lança modelo Ember-1 com foco em eficiência de tokens
23 set, 19:10
Moonshot AI libera pesos do modelo Kimi K3 com 2,8 trilhões de parâmetros
27 jul, 12:03
Fireworks AI aponta eficiência de roteamento entre modelos de IA
22 jul, 13:41
Startup chinesa Moonshot AI lança modelo Kimi K3 para rivalizar com IA dos EUA
16 jul, 07:02
Comentários (0)
Seja o primeiro a comentar.
