Andrej Karpathy abriu o código do autoresearch, uma ferramenta de 630 linhas de Python que permite que agentes de IA iterem autonomamente sobre código de treinamento de LLMs numa única GPU. O humano define a estratégia num arquivo program.md, enquanto o agente modifica arquitetura, hiperparâmetros e otimizadores em loop contínuo.

Em uma demonstração, 110 experimentos autônomos em 12 horas melhoraram a validação de bits-per-byte de 0,862 para 0,858 — cerca de 12 experimentos por hora sem intervenção humana.