Google e Inferact apresentam modelo Kimi K3 com arquitetura TPUv7
O modelo de 2.8 trilhões de parâmetros utiliza hardware TPUv7 e busca competir em custo e desempenho com sistemas da NVIDIA.
||
18/10 às 19:10
Pontos principais
- A submissão envolve o modelo Kimi K3 de 2.8 trilhões de parâmetros rodando em TPUv7.
- O projeto foi desenvolvido pela Inferact utilizando a stack TorchTPU vLLM.
- O desempenho é comparado aos sistemas NVIDIA GB200 NVL72, B300 e MI355.
- Testes internos indicam competitividade de custo frente ao GB300 NVL72.
- Futuras atualizações devem utilizar a biblioteca TPU-Sync para otimização de KVCache.
A Inferact e o Google anunciaram a primeira submissão preliminar do modelo Kimi K3, que conta com 2.8 trilhões de parâmetros. A tecnologia utiliza a nova arquitetura TPUv7 e foi implementada com a stack TorchTPU vLLM.
O desempenho do modelo é comparado a sistemas da NVIDIA, como o GB200 NVL72, B300 e o MI355. Segundo a equipe responsável, os resultados preliminares demonstram competitividade de custo frente ao GB300 NVL72 em bases internas. Novas submissões estão previstas com a implementação da biblioteca TPU-Sync para otimização de KVCache.
