Daily Journal
Daily Journal

OpenAI lança ferramentas para detectar e combater abuso sexual infantil

Empresa implementou classificador de imagens, avisos no ChatGPT e novas diretrizes para prevenir a exploração e o abuso sexual infantil online.

Daily Journal
Foto: TechCrunch
||
16/11 às 14:45, atualizado 15:32

Pontos principais

  • OpenAI disponibilizou um novo classificador de imagens para detectar material de abuso sexual infantil (CSAM) via API.
  • Usuários que tentarem acessar ou criar conteúdo que sexualize crianças no ChatGPT receberão avisos e terão a conta suspensa por 24 horas.
  • A iniciativa inclui um guia prático para desenvolvedores, criado em parceria com organizações como NCMEC e Tech Coalition.
  • Ferramentas de análise de dados e treinamentos foram oferecidos para auxiliar unidades de investigação policial.
  • O anúncio ocorre em meio a pressões crescentes sobre a segurança de menores em plataformas de inteligência artificial.

A OpenAI anunciou um conjunto de novas ferramentas e diretrizes voltadas ao combate à exploração e ao abuso sexual infantil online. Entre as principais medidas está o lançamento de um classificador de imagens capaz de detectar material de abuso sexual infantil (CSAM), incluindo conteúdos gerados por inteligência artificial, que será oferecido sem custo via API para organizações verificadas. A empresa também implementou novos mecanismos de segurança no ChatGPT, que exibirão avisos aos usuários caso identifiquem tentativas de acesso ou criação de material que sexualize crianças. Nessas situações, a conversa será removida e o acesso do usuário ao serviço será suspenso por 24 horas.

Para fortalecer a resposta a esses casos, a OpenAI desenvolveu um guia prático para desenvolvedores em colaboração com entidades especializadas, como a Tech Coalition, Thorn, NCMEC e a Internet Watch Foundation. Além disso, a companhia disponibilizou recursos de análise de dados e treinamentos específicos para forças policiais. Segundo a OpenAI, a implementação dessas ferramentas visa melhorar a detecção e a prevenção de conteúdos prejudiciais em suas plataformas, em um momento em que a empresa enfrenta críticas e processos judiciais relacionados aos riscos da tecnologia para menores de idade.

Fonte primária

OpenAI

Strengthening the fight against online child sexual abuse with new tools and support

A OpenAI lança cinco frentes contra exploração e abuso sexual infantil online: um novo classificador de imagens que detecta possível CSAM, incluindo material gerado por IA, oferecido sem custo via API a organizações verificadas; avisos no ChatGPT que interrompem tentativas de encontrar material abusivo, explicam as consequências e apontam ajuda, com remoção da conversa sinalizada e pausa de 24 horas no acesso ao ChatGPT; um guia prático para desenvolvedores, feito com Tech Coalition, Thorn, NCMEC e Internet Watch Foundation; e ferramentas, plugins e treinamento para unidades de investigação de proteção infantil, com acesso sob autorização das agências. Na avaliação com imagens enviadas por usuários, a empresa estima que o classificador sinalizaria 48% menos imagens que a ferramenta atual, encontrando aproximadamente o mesmo número de imagens abusivas, e que as imagens sinalizadas teriam cerca de duas vezes mais chance de conter abuso. Na fal, revisores confirmaram 72% dos sinalizados de alta confiança como CSAM inédito; na SafetyKit, o classificador detectou 90% dos casos de desenhos ou animações que sexualizam crianças. A OpenAI diz que é o primeiro classificador com ampla disponibilidade a ter um sinal específico para indicar se o CSAM pode ser gerado por IA. Os avisos foram desenvolvidos com Protect Children, Lucy Faithfull Foundation e pesquisadores acadêmicos.

Tópicos relacionados

Cobertura da mídia

Leia também

Comentários (0)

Seja o primeiro a comentar.