Modelos de IA testam limites em pesquisa autônoma de otimização
Estudo avalia 18 modelos de IA na otimização de treinamento de redes neurais, revelando avanços em execução, mas ausência de inovações inéditas.
Pontos principais
- O experimento da Prime Intellect realizou 153 rodadas autônomas com 18 modelos de fronteira.
- O Claude Fable 5 liderou o ranking, reduzindo em 81,7% a diferença para o recorde humano de eficiência.
- Os modelos operaram sem acesso à internet, utilizando 8 GPUs H200 por rodada durante até oito dias.
- Nenhum modelo gerou métodos fundamentalmente novos, replicando técnicas já conhecidas na literatura.
- As melhorias observadas focaram em otimização, como pré-condicionamento e ajustes de learning rate.
- O benchmark utilizou o 'nanoGPT speedrun', visando reduzir o número de passos para atingir uma loss específica.
A Prime Intellect conduziu um experimento em larga escala para avaliar a capacidade de modelos de IA de fronteira em realizar pesquisas científicas de forma autônoma. Ao testar 18 modelos no desafio de otimização 'nanoGPT speedrun', o Claude Fable 5 destacou-se ao alcançar 2.726 passos, superando concorrentes como o Opus 5 e o GPT-5.6 Sol. O teste exigiu que os sistemas aprimorassem o treinamento de um modelo GPT de 124 milhões de parâmetros sem intervenção humana ou acesso à rede externa.
Embora os modelos tenham demonstrado uma compreensão profunda dos parâmetros manipulados, os pesquisadores notaram uma ausência de inovações conceituais inéditas. As estratégias vencedoras foram variações de técnicas já consolidadas, como o ajuste de schedules de learning rate e o uso de médias ponderadas de pesos. O estudo aponta que a principal diferença entre os modelos não reside na criatividade, mas na capacidade de conduzir experimentos de forma rigorosa, interpretar resultados ruidosos e validar hipóteses de maneira eficiente.
Comentários
Carregando comentários...