Pesquisadores criam método de pré-treino de IA sem dados reais
Novo estudo demonstra que modelos de linguagem podem aprender padrões universais gerando seus próprios dados sintéticos via self-play.
Pontos principais
- O método 'Self-Play Pretraining with Zero Data' elimina a dependência de grandes volumes de dados curados da internet.
- Dois modelos co-evoluem: um gerador cria programas em uma máquina de Turing universal e um aprendiz prevê as sequências resultantes.
- O gerador utiliza aprendizado por reforço para produzir dados que desafiam o limite atual de conhecimento do aprendiz.
- Testes mostram que a performance zero-shot em datasets naturais melhora de forma previsível conforme o aumento de compute.
- O modelo demonstrou capacidade de in-context learning e identificação de sequências matemáticas sem treinamento prévio em dados reais.
- A técnica permite reduzir em até 35% o orçamento de tokens necessários em etapas posteriores de treinamento com dados reais.
Pesquisadores apresentaram um novo paradigma para o treinamento de modelos de linguagem que dispensa o uso de dados coletados da internet. Ao utilizar um sistema de self-play, o modelo atua como seu próprio professor, gerando sequências de bytes através de uma máquina de Turing universal. Esse processo permite que a IA descubra regularidades preditivas universais, como recursão e composição hierárquica, de forma autônoma e a partir de uma inicialização aleatória. Os resultados indicam que o desempenho em tarefas de zero-shot segue leis de potência previsíveis, comparáveis aos modelos treinados em grandes datasets naturais. Embora o método não substitua a necessidade de dados reais para o aprendizado de fatos específicos do mundo, ele oferece uma alternativa eficiente para o pré-treinamento, otimizando o uso de recursos computacionais e reduzindo a dependência de curadoria humana em larga escala.
Comentários
Carregando comentários...