Xiaomi adota arquitetura HySparse2 para seus próximos modelos de IA
A nova arquitetura MiMo da Xiaomi utiliza a tecnologia HySparse2 para reduzir custos computacionais e otimizar o uso de cache KV em modelos de IA.
Pontos principais
- A tecnologia HySparse2 processa prompts utilizando apenas 25 das 49 camadas disponíveis.
- O decodificador KV da nova arquitetura é projetado a partir dos estados do codificador.
- A arquitetura apresenta um custo computacional de prefill 5 vezes menor que o MiMo-V2.
- O cache KV foi reduzido em 4,5 vezes em contextos de 1 milhão de tokens.
A Xiaomi está migrando seus próximos modelos de IA para uma arquitetura de codificador-decodificador causal, denominada MiMo, com a implementação da tecnologia HySparse2. O novo sistema processa prompts utilizando apenas 25 das 49 camadas disponíveis, enquanto o decodificador KV é projetado a partir dos estados do codificador.
Em comparação com a versão anterior, o MiMo-V2, a nova arquitetura reduz em 5 vezes o custo computacional de prefill. Além disso, a tecnologia permite uma redução de 4,5 vezes no cache KV em contextos de 1 milhão de tokens.
Cobertura da mídia
Leia também
Xiaomi lidera ranking de modelos abertos com o MiMo-V2.6-Pro
21 set, 17:45
Xiaomi detalha arquitetura dos modelos de IA MiMo V2.6
18 set, 00:10
Xiaomi apresenta HarnessX para otimizar arquitetura de agentes de IA
24 jun, 16:04
Xiaomi abre o código do MiMo Code e diz superar o Claude Code em tarefas longas
12 jun, 09:00
Xiaomi lança MiMo Code, ferramenta de IA para programação complexa
11 jun, 20:32
Comentários (0)
Seja o primeiro a comentar.