Novo sistema de IA atinge nível de superprevisores humanos
O AIA Forecaster utiliza LLMs e agentes de busca para realizar previsões com precisão comparável a especialistas humanos em benchmarks acadêmicos.
Pontos principais
- O AIA Forecaster combina busca agentica, agentes supervisores e técnicas de calibração estatística.
- O sistema alcançou desempenho equivalente ao de superprevisores humanos no benchmark ForecastBench.
- A ferramenta supera modelos de linguagem anteriores que falhavam em igualar o desempenho humano.
- Em testes com mercados de previsão, o modelo ainda fica atrás do consenso de mercado.
- A combinação do AIA Forecaster com o consenso de mercado supera o uso isolado de previsões de mercado.
- O projeto é apresentado como o primeiro sistema de IA a atingir escala de previsão de nível especialista de forma verificável.
Pesquisadores publicaram um relatório técnico detalhando o AIA Forecaster, um sistema baseado em Large Language Models (LLM) projetado para previsões judiciosas utilizando dados não estruturados. A arquitetura do sistema integra três componentes principais: busca agentica em fontes de notícias de alta qualidade, um agente supervisor para reconciliar previsões divergentes e técnicas de calibração estatística para mitigar vieses comportamentais comuns em modelos de IA. O sistema estabelece um novo estado da arte ao igualar o desempenho de superprevisores humanos no benchmark acadêmico ForecastBench. Embora o modelo ainda apresente desempenho inferior ao consenso de mercados de previsão líquidos, os autores demonstram que a integração do AIA Forecaster com esses mercados gera resultados superiores ao consenso isolado, indicando que a tecnologia fornece informações complementares valiosas para a análise preditiva.
Comentários
Carregando comentários...