Sete de nove editores de imagem do Hugging Face despem mulheres em teste
Relatório da AI Forensics achou moderação de output em apenas 3% dos Spaces auditados; 95% dos pedidos sexuais miravam mulheres.
Pontos principais
- Relatório da ONG europeia AI Forensics publicado em 28 de julho
- Sete dos nove Spaces de edição de imagem mais usados geraram imagem de topless
- Bastou um prompt de seis palavras, sem tentar burlar salvaguardas
- Spaces honeypot coletaram 1.081 submissões em uma semana; 73% eram de natureza sexual
- Entre as sexuais, 83% pediam despir ou sexualizar a pessoa retratada
- 95% desses pedidos miravam mulheres e 6,7% miravam pessoas aparentemente menores de idade
- Moderação de output foi encontrada em apenas 3% dos Spaces auditados
As políticas do Hugging Face proíbem conteúdo sexual não consensual, mas a plataforma depende em grande medida de cada desenvolvedor para implementar salvaguardas — e a auditoria mostra que quase nenhum implementa. Após contato da imprensa, a empresa removeu algumas páginas, mas não respondeu a perguntas detalhadas sobre uma remediação mais ampla.
Os prompts coletados mostram abusos que vão além do simples despir, incluindo pedidos para retratar sêmen em mulheres, inserir brinquedos sexuais e retratar atos sexuais; em alguns casos, para remover o hijab de mulheres muçulmanas. A AI Forensics pede filtragem de prompts na entrada e varredura automatizada de outputs em todos os Spaces de imagem e vídeo.
Comentários
Carregando comentários...