O ChatGPT, da OpenAI, está desenvolvendo um sistema para identificar usuários que demonstram sinais de extremismo violento e encaminhá-los para apoio especializado. A iniciativa é uma parceria com a startup neozelandesa ThroughLine, que já oferece uma rede de apoio para crises de saúde mental e agora expande para a prevenção de extremismo violento. A ferramenta combina atendimento humano e chatbots para fornecer suporte, com o fundador Elliot Taylor em negociações com o The Christchurch Call para orientação no desenvolvimento do chatbot.

Este desenvolvimento ocorre em meio a crescentes preocupações com a segurança e o aumento de processos judiciais contra empresas de inteligência artificial por não impedirem a violência. A tecnologia, ainda em fase de testes e sem data de lançamento definida, evita o uso de dados de treinamento de modelos de linguagem básicos para mitigar vieses. Especialistas ressaltam a importância da qualidade do acompanhamento e dos serviços de encaminhamento para o sucesso da ferramenta, alertando que a moderação excessiva sem suporte eficaz pode levar usuários a plataformas menos regulamentadas, como o Telegram.