Daily Journal
Daily Journal

Nova ferramenta automatiza estratégias de raciocínio em LLMs

O framework AutoTTS reduz o consumo de tokens em 69,5% ao automatizar o design de estratégias de raciocínio em modelos de linguagem.

Daily Journal
Foto: Venturebeat
||
28/05 às 19:05

Pontos principais

  • O AutoTTS substitui o design manual de estratégias de escalonamento em tempo de teste por um processo de busca algorítmica.
  • Testes com modelos Qwen3 e DeepSeek-R1 confirmaram a redução de 69,5% no uso de tokens sem perda de precisão.
  • A ferramenta utiliza o 'Confidence Momentum Controller' para otimizar a alocação de computação entre largura e profundidade.
  • O processo de descoberta é acessível, custando cerca de 39,90 dólares e exigindo menos de três horas de execução.
  • A tecnologia já está disponível no GitHub como um substituto direto para controladores de inferência existentes.

Pesquisadores desenvolveram o AutoTTS, uma estrutura inovadora que automatiza a criação de estratégias de raciocínio para modelos de linguagem (LLMs). Ao substituir o design manual de estratégias de escalonamento em tempo de teste por um processo de busca algorítmica, a ferramenta consegue identificar políticas de alocação de computação mais eficientes do que as desenvolvidas por humanos. O sistema utiliza um controlador avançado para gerenciar a profundidade e a largura do raciocínio, resultando em uma economia de 69,5% no uso de tokens em modelos como Qwen3 e DeepSeek-R1, mantendo o desempenho original. Com um custo de implementação reduzido e alta acessibilidade, a tecnologia, já disponível no GitHub, representa um avanço significativo para a eficiência operacional em aplicações de inteligência artificial, permitindo que desenvolvedores otimizem recursos sem comprometer a precisão dos modelos.

Tópicos relacionados

Comentários

Carregando comentários...