Analistas profissionais seguem inclinações de agentes de IA
Em experimento randomizado, a Anthropic registrou que 50 analistas de inferência causal seguiram em 86% das decisões analíticas a inclinação de um agente de IA sorteada ao acaso, sem saber que ela havia sido sorteada.
||
28/10 às 07:45, atualizado 10:34
Pontos principais
- Os participantes seguiram a inclinação do agente em 86% das quatro decisões analíticas (medida de produtividade, identificação causal, população do efeito e ponderação), contra 50% por acaso.
- Ao justificar as escolhas, 77% (37 de 48) repetiram argumentos do agente, às vezes quase palavra por palavra; só 15% citaram o agente em alguma resposta.
- Mais da metade disse que a recomendação era mais sua do que do agente, e 85% lembraram corretamente a opção que haviam escolhido.
- Na recomendação final, a inclinação do agente deslocou a resposta média 17% do caminho de descontinuar até expandir, sem significância pelo método pré-registrado.
- Em análise exploratória, só as inclinações sobre as decisões analíticas previram 82% das recomendações de expandir ou descontinuar entre quem não escolheu extensão, contra 61% de uma regra de maioria.
- A pesquisa foi conduzida por Amaç Herdağdelen, Hailey Joren e Alex Tamkin.
A Anthropic testou 50 praticantes de inferência causal, que analisaram dados fictícios de uma cooperativa agrícola com o Claude Code. Um cara ou coroa definiu, sem saberem o lado que o agente defenderia em cada decisão.
Os autores ressalvam que o agente foi instruído a sustentar sua posição e que o teste cobriu uma única tarefa. Concluem que, se o julgamento humano deve seguir como checagem, é preciso medir essa delegação e ajudar especialistas a reconhecê-la.