Nova técnica de IA atinge 99% de eficiência no benchmark ARC-AGI-3
O sistema Schema permite que modelos de IA criem programas executáveis para resolver desafios lógicos, alcançando quase 100% de eficiência humana.
Pontos principais
- A ferramenta Schema foi desenvolvida pela Impossible Research para otimizar o raciocínio de modelos de fronteira.
- O sistema atingiu 99% de Relative Human Action Efficiency (RHAE) no conjunto público do ARC-AGI-3.
- A técnica utiliza modelos como Claude Opus 4.8, Fable 5 e GPT-5.6 Sol sem alterar seus pesos originais.
- O método funciona transformando observações visuais em programas de computador editáveis e testáveis.
- O agente opera como um físico, formulando hipóteses sobre as regras do jogo e revisando-as conforme novos dados surgem.
- Os resultados são autorrelatados pela equipe e ainda não foram verificados oficialmente pelo ARC Prize.
A Impossible Research apresentou o Schema, uma nova estrutura de avaliação e execução que permite a modelos de linguagem de fronteira resolverem tarefas complexas do benchmark ARC-AGI-3 com eficiência próxima à humana. Em vez de depender apenas de previsões estatísticas, o Schema instrui a IA a escrever programas executáveis que descrevem as regras e a mecânica de cada ambiente, permitindo que o modelo planeje ações dentro de um simulador próprio e interprete o mundo de forma lógica e verificável.
Com essa abordagem, modelos como o Claude Opus 4.8 e o GPT-5.6 Sol conseguiram atingir, respectivamente, 99% e 95,35% de eficiência em relação à base de referência humana no conjunto de dados público. A técnica se destaca por não exigir o treinamento ou ajuste fino (fine-tuning) dos pesos dos modelos, focando exclusivamente na melhoria do processo de raciocínio e na capacidade de auto-correção do agente diante de falhas de previsão.
Comentários
Carregando comentários...