MiniMax anuncia modelo M3 com arquitetura de atenção esparsa

A empresa chinesa MiniMax divulgou detalhes técnicos sobre a engenharia de sua série M2 e antecipou inovações para o futuro modelo M3. O grande diferencial do próximo lançamento é a implementação da MiniMax Sparse Attention (MSA), uma arquitetura projetada para superar gargalos de processamento em modelos de linguagem de grande escala. Segundo a companhia, essa tecnologia possibilita um aumento de 15,6 vezes na velocidade de decodificação ao lidar com contextos de até 1 milhão de tokens, mantendo a precisão ao processar chaves e valores reais sem compressão. Além dos avanços na arquitetura de atenção, a MiniMax reforçou o papel do sistema 'Forge', uma plataforma de aprendizado por reforço que permite aos modelos realizar tarefas de desenvolvimento de forma autônoma. Essas inovações buscam elevar o benchmark de eficiência e performance no mercado de IA generativa.