Repositório de IA é usado para criar nudes de mulheres e crianças

O repositório de modelos de IA Hugging Face está sendo usado para criar imagens íntimas sem consentimento, de acordo com relatório publicado pelo instituição AI Forensics. Os conteúdos são criados livremente sem nenhum tipo de mecanismo de segurança adicional na plataforma.

A análise considerou criações na plataforma Spaces do Hugging Face, usada para concentrar diversos apps feitos com os modelos de IA disponíveis no diretório. De acordo com a pesquisa, 73% dos pedidos monitorados tinham conotação sexual, principalmente para remover as roupas de uma pessoa, e 6,7% dos comandos tinham menores de idade como alvos.

Um fator que chamou a atenção dos pesquisadores foi a facilidade para conseguir gerar os deepfakes com um prompt simples, visto que algumas ferramentas de IA exigem prompts mais elaborados para “enganar” os mecanismos de segurança.

Falta de moderação e de controles de segurança

A maior crítica do relatório é sobre a falta de ajustes adicionais para evitar os prompts mal intencionados. 

Em entrevista ao site Wired, um dos pesquisadores da AI Forensics, Paul Bouchaud, explicou que o Hugging Face não aplica nenhuma medida de proteção adicional na plataforma, então as salvaguardas contra tentativas de deepfakes dependem do código dos modelos de IA.

As diretrizes da plataforma mencionam que é proibido criar conteúdos que podem prejudicar indivíduos ou grupos, mas as IAs ainda podem ser usadas por qualquer pessoa por uma conta por lá. A pesquisa identificou que alguns dos Spaces mais famosos para edição de imagens permitem criar conteúdo íntimo sem consentimento. 

A popularização dos editores de imagens com IA tem relação direta com a produção em massa de nudes falsos. Uma pesquisa do Institute for Strategic Dialogue (ISD) revelou que há um ecossistema digital em torno da prática, com redes sociais servindo de “portas de entrada” para ferramentas do tipo, inclusive por fora das lojas de aplicativos.

{{WHATSAPP_CHANNEL}}