Nova ferramenta automatiza estratégias de raciocínio em LLMs
O framework AutoTTS reduz o consumo de tokens em 69,5% ao automatizar o design de estratégias de raciocínio em modelos de linguagem.
Pontos principais
- O AutoTTS substitui o design manual de estratégias de escalonamento em tempo de teste por um processo de busca algorítmica.
- Testes com modelos Qwen3 e DeepSeek-R1 confirmaram a redução de 69,5% no uso de tokens sem perda de precisão.
- A ferramenta utiliza o 'Confidence Momentum Controller' para otimizar a alocação de computação entre largura e profundidade.
- O processo de descoberta é acessível, custando cerca de 39,90 dólares e exigindo menos de três horas de execução.
- A tecnologia já está disponível no GitHub como um substituto direto para controladores de inferência existentes.
Pesquisadores desenvolveram o AutoTTS, uma estrutura inovadora que automatiza a criação de estratégias de raciocínio para modelos de linguagem (LLMs). Ao substituir o design manual de estratégias de escalonamento em tempo de teste por um processo de busca algorítmica, a ferramenta consegue identificar políticas de alocação de computação mais eficientes do que as desenvolvidas por humanos. O sistema utiliza um controlador avançado para gerenciar a profundidade e a largura do raciocínio, resultando em uma economia de 69,5% no uso de tokens em modelos como Qwen3 e DeepSeek-R1, mantendo o desempenho original. Com um custo de implementação reduzido e alta acessibilidade, a tecnologia, já disponível no GitHub, representa um avanço significativo para a eficiência operacional em aplicações de inteligência artificial, permitindo que desenvolvedores otimizem recursos sem comprometer a precisão dos modelos.
Tópicos relacionados
Comentários
Carregando comentários...
