O framework AutoTTS reduz o consumo de tokens em 69,5% ao automatizar o design de estratégias de raciocínio em modelos de linguagem.
Pesquisadores desenvolveram o AutoTTS, uma estrutura inovadora que automatiza a criação de estratégias de raciocínio para modelos de linguagem (LLMs). Ao substituir o design manual de estratégias de escalonamento em tempo de teste por um processo de busca algorítmica, a ferramenta consegue identificar políticas de alocação de computação mais eficientes do que as desenvolvidas por humanos. O sistema utiliza um controlador avançado para gerenciar a profundidade e a largura do raciocínio, resultando em uma economia de 69,5% no uso de tokens em modelos como Qwen3 e DeepSeek-R1, mantendo o desempenho original. Com um custo de implementação reduzido e alta acessibilidade, a tecnologia, já disponível no GitHub, representa um avanço significativo para a eficiência operacional em aplicações de inteligência artificial, permitindo que desenvolvedores otimizem recursos sem comprometer a precisão dos modelos.
15 mai, 18:35
8 mai, 09:07
7 mai, 18:38
7 mai, 17:34
28 abr, 09:09
Carregando comentários...