Sistemas de IA falham em aprender com a experiência em novo teste
O benchmark EBR-bench revela que modelos de IA de ponta não melhoram seu desempenho ao jogar repetidamente o jogo Earthborne Rangers.
Pontos principais
- O EBR-bench, lançado pela Epoch AI, utiliza o jogo de tabuleiro Earthborne Rangers para medir a capacidade de aprendizado contínuo de IAs.
- Modelos como GPT-5.5 e Claude Opus 4.8 não demonstraram evolução significativa após múltiplas partidas, mantendo pontuações estáveis.
- Sistemas de IA acumulam 2,1 pontos de fadiga por rodada, enquanto jogadores humanos especialistas limitam esse valor a 0,6.
- A IA completou menos de 40% dos objetivos do jogo, comparado ao desempenho de quase 100% alcançado por jogadores humanos.
- Os modelos testados apresentaram dificuldades em estratégias de longo prazo e na exploração de diferentes tipos de baralhos.
- Mesmo com acesso a guias estratégicos detalhados, a melhoria no desempenho dos sistemas de IA foi considerada modesta pelos pesquisadores.
A Epoch AI publicou o EBR-bench, um novo benchmark projetado para avaliar se sistemas de inteligência artificial conseguem aprender com a experiência ao realizar tarefas repetitivas. O estudo utilizou o jogo de tabuleiro Earthborne Rangers, que exige uma combinação de estratégia e tática, para testar a capacidade dos modelos de melhorar seu desempenho 'no trabalho'. Os resultados indicam que, apesar de apresentarem um desempenho inicial superior ao de jogadores inexperientes, os modelos de fronteira atuais não demonstram uma curva de aprendizado clara ao longo de dezenas de partidas.
O fracasso das IAs em otimizar suas jogadas está ligado, principalmente, à má gestão da mecânica de 'fadiga' do jogo e à falta de exploração estratégica na montagem de baralhos. Enquanto humanos especialistas conseguem atingir quase a totalidade dos objetivos do jogo, os modelos de IA permanecem estagnados em um patamar de eficiência próximo ao de jogadas aleatórias. Segundo a Epoch AI, essa dificuldade em aprender com erros passados destaca uma limitação importante nas capacidades atuais de raciocínio e adaptação dos sistemas de IA.
Comentários
Carregando comentários...