Modelos de IA no Hugging Face falham ao bloquear criação de deepfakes
Investigação aponta que sete dos nove principais modelos de edição de imagem permitem gerar conteúdo explícito não consensual com comandos simples.
Pontos principais
- Pesquisadores da AI Forensics testaram nove modelos de IA populares na plataforma Hugging Face.
- Sete dos modelos analisados transformaram fotos de mulheres vestidas em imagens topless.
- A manipulação foi executada com sucesso utilizando um comando de texto de apenas seis palavras.
- O estudo expõe fragilidades críticas nos filtros de segurança e nas diretrizes de moderação de ferramentas de código aberto.
Uma investigação conduzida pela organização AI Forensics revelou vulnerabilidades graves em modelos de inteligência artificial de código aberto hospedados no Hugging Face. O estudo demonstrou que sete dos nove modelos de edição de imagem mais populares da plataforma permitem a criação de deepfakes explícitos a partir de comandos de texto simples. A facilidade com que imagens de mulheres vestidas foram alteradas para conteúdo topless levanta preocupações urgentes sobre a eficácia das salvaguardas atuais contra o uso indevido de tecnologias generativas. A descoberta destaca uma lacuna significativa na moderação de conteúdo dessas ferramentas, evidenciando como a acessibilidade de modelos de IA pode ser explorada para a produção de material não consensual. Especialistas alertam que a falta de filtros robustos em sistemas de código aberto facilita a disseminação de abusos digitais, exigindo uma revisão imediata nas políticas de segurança dos desenvolvedores.
Comentários
Carregando comentários...
