Mistral lança Small 4: MoE de 119B parâmetros com 6,5B ativos por token
Primeiro modelo a unificar instruct, raciocínio e multimodal num único deploy Apache 2.0 com 256K de contexto.
||
16/03 às 09:00
Pontos principais
- 119B parâmetros totais com 128 experts e apenas 6,5B ativos por token
- Unifica quatro modelos anteriores: Mistral Small, Magistral, Pixtral e Devstral
- 256K tokens de contexto com Multi-head Latent Attention (MLA)
- 40% menos latência e 3x mais requisições por segundo vs Small 3
- GPQA Diamond de 71,2 e MMLU-Pro de 78,0
- Licença Apache 2.0 com pesos abertos
A Mistral AI lançou o Mistral Small 4, modelo Mixture-of-Experts com 119 bilhões de parâmetros totais, 128 experts e apenas 6,5 bilhões de parâmetros ativos por token. É o primeiro modelo a unificar instruct, raciocínio, multimodal e coding agêntico num único deploy, substituindo quatro modelos anteriores.
Com 256K tokens de contexto, modo de raciocínio alternável por requisição e function calling nativo, o Small 4 entrega 40% menos latência e 3x mais requisições por segundo que o Small 3. Roda em 2 GPUs via vLLM com quantização NVFP4 disponível, sob licença Apache 2.0.
Comentários
Carregando comentários...