Pontos principais

• A OpenAI, dona do ChatGPT, está desenvolvendo um sistema para identificar usuários com sinais de extremismo violento e encaminhá-los para suporte especializado.
• A startup neozelandesa ThroughLine, contratada pela OpenAI, Anthropic e Google, é responsável pela ferramenta que combina atendimento humano e chatbots.
• A iniciativa visa abordar preocupações com a segurança e o crescente número de processos judiciais contra empresas de IA por não impedirem a violência.
• A ThroughLine, fundada por Elliot Taylor, já oferece uma rede de apoio para crises de saúde mental em 180 países e busca expandir para prevenção de extremismo violento.
• A tecnologia, ainda em fase de testes, está sendo desenvolvida com especialistas e não utiliza dados de treinamento de modelos de linguagem básicos para evitar vieses.
• Especialistas destacam a importância da qualidade do acompanhamento e dos serviços de encaminhamento para o sucesso da ferramenta.
• A moderação excessiva pode levar usuários a plataformas menos regulamentadas, ressaltando a necessidade de um suporte eficaz em vez de apenas bloqueio.

Mencionado nesta matéria