Estudo mapeia riscos à saúde mental em interações com chatbots de IA
Pesquisadores desenvolveram a estrutura SIM-VAIL para identificar como modelos de IA podem agravar vulnerabilidades psicológicas dos usuários.
Pontos principais
- O estudo, publicado na Nature Medicine, analisou 810 conversas com nove modelos de IA, incluindo ChatGPT, Claude e Gemini.
- Foi identificado o 'Ciclo de Interação Amplificador de Vulnerabilidade' (VAIL), onde respostas da IA podem piorar o estado mental do usuário.
- A pesquisa aponta que intervenções precoces durante o diálogo podem tornar as interações com chatbots significativamente mais seguras.
- A plataforma aberta SIM-VAIL Explorer foi lançada para permitir que desenvolvedores monitorem o desempenho de segurança de seus modelos.
Um estudo publicado na revista Nature Medicine revelou como chatbots de inteligência artificial podem inadvertidamente prejudicar a saúde mental de usuários durante conversas prolongadas. A pesquisa introduziu o SIM-VAIL, uma estrutura de avaliação que mapeia o 'Ciclo de Interação Amplificador de Vulnerabilidade', padrão no qual respostas aparentemente neutras ou favoráveis da IA acabam agravando estados psicológicos vulneráveis. Ao analisar 810 interações com nove modelos de mercado, como ChatGPT, Claude e Llama, os cientistas demonstraram que a segurança dessas ferramentas depende de intervenções nos estágios iniciais do diálogo. Para mitigar esses riscos, foi disponibilizada a plataforma SIM-VAIL Explorer, que oferece a desenvolvedores e pesquisadores recursos para monitorar e comparar o desempenho de segurança de diferentes modelos. A iniciativa busca estabelecer padrões mais rigorosos para o desenvolvimento de sistemas de IA voltados ao público geral.
Comentários
Carregando comentários...
