Daily Journal
Daily Journal

Discord bane 8 mil usuários por erro em moderação por IA

Falha no sistema de moderação automatizada do Discord baniu indevidamente milhares de usuários por classificarem imagens inofensivas como nocivas.

Daily Journal
Foto: TechCrunch
||
07/07 às 16:31

Pontos principais

  • Mais de 8.000 contas foram suspensas incorretamente durante um período de dois meses.
  • O algoritmo de IA confundiu imagens inofensivas, como planilhas e tabuleiros de xadrez, com conteúdo proibido.
  • O problema teve início em maio e persistiu até a identificação da falha pela plataforma.
  • O Discord confirmou o erro e iniciou o processo de reversão dos banimentos injustos.

O Discord admitiu que uma falha técnica em seu sistema de moderação baseado em inteligência artificial resultou no banimento indevido de mais de 8.000 usuários. O erro, que ocorreu entre maio e julho, fez com que o algoritmo classificasse erroneamente arquivos inofensivos — como capturas de tela de planilhas, tabuleiros de xadrez e texturas de jogos — como conteúdo nocivo ou violador das diretrizes da comunidade. A empresa confirmou o incidente e afirmou estar trabalhando para restaurar as contas afetadas e corrigir as falhas no modelo de aprendizado de máquina. O caso evidencia os desafios enfrentados por plataformas digitais na implementação de moderação automatizada em larga escala, onde a precisão dos modelos de machine learning ainda apresenta limitações críticas ao distinguir contextos visuais, impactando diretamente a experiência e a segurança dos usuários.

Tópicos relacionados

Comentários

Carregando comentários...