Pesquisadores lançam Odysseys para avaliar agentes de IA na web
O novo benchmark Odysseys utiliza 200 tarefas de longa duração para avaliar o desempenho de agentes de IA em navegação real na internet.
Pontos principais
- O benchmark Odysseys é composto por 200 tarefas baseadas em sessões reais de navegação.
- A avaliação dos agentes ocorre em tempo real durante a navegação na web.
- O sistema utiliza rubricas de avaliação em vez de critérios binários de sucesso ou falha.
- O método visa maior alinhamento com o julgamento humano e sinais mais informativos.
Os pesquisadores Russ Salakhutdinov, Jingyu Koh e Lawrence Jang apresentaram o Odysseys, um novo benchmark voltado para a avaliação de agentes de IA em tarefas de longa duração. O sistema utiliza 200 cenários baseados em sessões reais de navegação na internet para testar a capacidade de execução dos modelos em tempo real.
Diferente de métodos tradicionais que utilizam critérios binários de sucesso ou falha, o Odysseys propõe um sistema de avaliação baseado em rubricas. A abordagem busca oferecer sinais mais informativos e garantir um alinhamento superior com o julgamento humano durante o processo de teste.
Cobertura da mídia
Comentários (0)
Seja o primeiro a comentar.