Alibaba lança modelo de IA Qwen3.8-Flash com 125 bilhões de parâmetros
A Alibaba lançou o Qwen3.8-Flash-Next, modelo de pesos abertos com 125 bilhões de parâmetros totais mas apenas 6 bilhões ativados por token, apresentado como prévia da arquitetura que vai sustentar o Qwen4.
Pontos principais
- O modelo tem 125 bilhões de parâmetros totais, mas ativa apenas 6 bilhões por token, além de 51 bilhões em embeddings n-gram e 4 bilhões em camadas de previsão multi-token.
- A arquitetura tem 48 camadas com atenção híbrida (Gated DeltaNet e Qwen Sparse Attention) e uma mistura de 512 especialistas, dos quais 11 são ativados por token.
- O contexto nativo é de 262.144 tokens, extensível a 1 milhão de tokens via YaRN.
- A ficha do modelo o descreve como prévia antecipada da arquitetura que vai sustentar o Qwen4, não como o Qwen4 em si.
- Nos benchmarks divulgados pela Qwen, o modelo obteve 62,5 no SWE-bench Pro, 91,7 no GPQA Diamond e 91,9 no LiveCodeBench, com comparações ao Claude Opus 4.6 e ao DeepSeek V4-Flash.
- O lançamento foi feito com pesos abertos sob a licença qwen-community-1.0.
A Alibaba lançou o Qwen3.8-Flash-Next, modelo de inteligência artificial de pesos abertos com 125 bilhões de parâmetros totais, dos quais apenas 6 bilhões são ativados por token, além de 51 bilhões em embeddings n-gram e 4 bilhões em camadas de previsão multi-token. A arquitetura tem 48 camadas, atenção híbrida entre Gated DeltaNet e Qwen Sparse Attention, e uma mistura de 512 especialistas, com 11 ativados por token. O contexto nativo é de 262.144 tokens, extensível a 1 milhão via YaRN. A ficha do modelo, publicada pela equipe Qwen, o apresenta como prévia antecipada da arquitetura que vai sustentar o Qwen4, não como o Qwen4 em si. Em benchmarks divulgados pela empresa, o modelo atingiu 62,5 no SWE-bench Pro, 91,7 no GPQA Diamond e 91,9 no LiveCodeBench, com comparações ao Claude Opus 4.6 e ao DeepSeek V4-Flash. O lançamento foi feito com pesos abertos sob a licença qwen-community-1.0.