Arquitetura híbrida Mamba-Transformer com MoE entrega 5x mais throughput e janela de 1M tokens com apenas 12B parâmetros ativos.
A Nvidia liberou o Nemotron 3 Super em 11 de março, modelo aberto de 120 bilhões de parâmetros totais projetado especificamente para sistemas multi-agente. Com apenas 12 bilhões de parâmetros ativos graças à arquitetura híbrida que combina camadas Mamba-2, atenção Transformer e roteamento Mixture-of-Experts latente, o modelo entrega mais de 5x o throughput da versão anterior e uma janela de contexto nativa de 1 milhão de tokens.
O modelo foi treinado em 25 trilhões de tokens (10 trilhões únicos curados), com treinamento adicional em 10 bilhões de tokens de raciocínio e 15 milhões de problemas de código. Perplexity, Palantir, Siemens, Cadence e Dassault Systèmes estão entre os parceiros de lançamento, além de startups de agentes de desenvolvimento como CodeRabbit, Factory e Greptile.
13 mar, 09:00
12 mar, 09:00
11 mar, 09:00
27 fev, 12:30
26 fev, 18:39