Nvidia lança modelo Nemotron 3.5 Lightning e roteador de IA

A Nvidia anunciou o lançamento do Nemotron 3.5 Lightning, um novo modelo de inteligência artificial de código aberto projetado para elevar a eficiência de agentes de longa duração. Com uma arquitetura híbrida que combina Mamba-Transformer e a tecnologia Mixture-of-Experts (MoE), o modelo possui 30 bilhões de parâmetros, sendo 3 bilhões ativos. A empresa destaca que a solução oferece uma velocidade de execução até quatro vezes maior que modelos concorrentes da mesma categoria, mantendo a precisão necessária para tarefas complexas. O lançamento ocorre em um momento em que a companhia expande seus esforços em open source, com relatos de mercado indicando que a empresa já trabalha no desenvolvimento do futuro Nemotron 4, que deve superar a marca de 1 trilhão de parâmetros. Para maximizar o desempenho do novo modelo, a Nvidia apresentou também o NeMo Switchyard, uma ferramenta de roteamento inteligente. O sistema é capaz de distribuir dinamicamente as etapas de um fluxo de trabalho de IA para o modelo mais adequado, otimizando o consumo de recursos. Segundo testes internos da Nvidia, a implementação conjunta do Lightning com o Switchyard pode reduzir os custos operacionais para cerca de um terço do valor necessário para rodar modelos de fronteira isolados, sem comprometer a taxa de conclusão de tarefas. A iniciativa visa atrair empresas que buscam reduzir gastos com tokens de IA e aumentar a agilidade de seus sistemas generativos. O suporte ao Switchyard já foi adotado por plataformas de infraestrutura e frameworks de desenvolvimento, como Kong, LiteLLM, OpenRouter e LangChain, facilitando a integração em ambientes corporativos. O Nemotron 3.5 Lightning está disponível em diversas plataformas, incluindo o Hugging Face e o ecossistema de microsserviços NIM da Nvidia, sob a licença permissiva OpenMDW-1.1.