Pontos principais

• A qualidade da informação médica fornecida por IA cai drasticamente quando usada por leigos, em comparação com cientistas.
• Pesquisadores da Universidade de Oxford mostraram que leigos obtêm diagnósticos corretos em apenas 34,5% dos casos usando IA, contra 94,9% dos cientistas.
• A forma como a pergunta é formulada afeta significativamente o resultado obtido dos grandes modelos de linguagem (LLMs).
• Um segundo estudo, do Mount Sinai, revelou que LLMs falham em identificar 31,7% das informações médicas incorretas, sendo menos eficazes com jargão clínico.
• Modelos mais avançados como o ChatGPT 4.0 tiveram melhor desempenho, mas ainda deixaram passar 10,6% dos erros.
• Os estudos sugerem que é prematuro confiar em chatbots de IA como fonte primária de informação médica ou para triagem de pacientes.
• A falha não é atribuída à incapacidade do usuário, mas à diferença entre a formulação de perguntas por leigos e por profissionais, e à interpretação errônea por parte da IA.

Mencionado nesta matéria