Nvidia lança ferramentas para otimizar custos de agentes de IA
A Nvidia apresentou o NeMo Switchyard e o modelo Nemotron 3.5 para reduzir custos operacionais em fluxos de trabalho de agentes de IA.
Pontos principais
- O NeMo Switchyard é uma biblioteca de código aberto que roteia tarefas de IA para o modelo mais eficiente em cada etapa.
- O modelo Nemotron 3.5 Lightning, com 30 bilhões de parâmetros, é otimizado para alta velocidade em tarefas de agentes.
- A combinação das tecnologias pode reduzir custos de execução em até dois terços, segundo testes da Nvidia.
- A solução possui integração nativa com frameworks como LangChain, Kong e OpenRouter.
A Nvidia anunciou o lançamento da biblioteca de código aberto NeMo Switchyard e do modelo Nemotron 3.5 Lightning, focados em aumentar a eficiência e reduzir gastos em infraestruturas de inteligência artificial. O Switchyard atua como um roteador dinâmico, direcionando cada etapa de um fluxo de trabalho de agentes para o modelo mais adequado, o que, segundo a empresa, pode reduzir os custos operacionais para um terço em comparação ao uso exclusivo de modelos de fronteira. Complementarmente, o Nemotron 3.5 Lightning foi desenvolvido para oferecer alta performance em tarefas de agentes de alto volume. Com essa estratégia, a Nvidia busca responder à crescente concorrência de modelos de código aberto e otimizar a adoção de suas ferramentas em ecossistemas existentes, como LangChain e OpenRouter, facilitando a integração em infraestruturas de larga escala.
Tópicos relacionados
Comentários
Carregando comentários...
