Xiaomi detalha arquitetura dos modelos de IA MiMo V2.6
Análise técnica revela especificações e métodos de treinamento dos novos modelos MiMo V2.6 Pro e Flash da Xiaomi.
||
18/09 às 00:10
Pontos principais
- O modelo MiMo V2.6 Pro conta com 1 trilhão de parâmetros totais e 42 bilhões ativos.
- A versão MiMo V2.6 Flash possui 310 bilhões de parâmetros totais e 15 bilhões ativos.
- O treinamento dos modelos utiliza uma variante do algoritmo GRPO com tamanho de grupo 16.
- Cerca de 36,4% dos rollouts são filtrados por meio de um processo de amostragem dinâmica.
- O modelo Flash apresenta maior concorrência de sandboxes e staleness que a versão Pro.
A Xiaomi divulgou detalhes técnicos sobre os modelos MiMo V2.6 Pro e MiMo V2.6 Flash. O modelo Pro opera com 1 trilhão de parâmetros totais, sendo 42 bilhões ativos, enquanto a versão Flash possui 310 bilhões de parâmetros totais e 15 bilhões ativos.
O processo de treinamento emprega uma variante do algoritmo GRPO com tamanho de grupo 16 e utiliza amostragem dinâmica, resultando na filtragem de 36,4% dos rollouts. Além disso, o modelo Flash opera com maior concorrência de sandboxes e níveis superiores de staleness em comparação ao modelo Pro.
Comentários
Carregando comentários...
