Detector de IA da Meta falha ao identificar imagens do próprio modelo de IA

Uma ferramenta de detecção de imagens geradas por inteligência artificial (IA) da Meta falhou em identificar 55% das próprias imagens produzidas pelo Muse Image depois que elas foram cortadas, segundo análise da Reuters publicada nesta sexta-feira (10). O teste avaliou 40 imagens geradas pelo modelo de IA da empresa.

A ferramenta, apresentada em pré-visualização na mesma semana do lançamento do Muse Image, conseguiu identificar corretamente todas as imagens originais submetidas pela reportagem. O problema apareceu quando as fotos foram cortadas para cerca de um terço a metade do tamanho original.

Como funciona a detecção da Meta

A empresa afirma, em seu site, que a ferramenta consegue reconhecer imagens geradas por seus modelos de IA mesmo após cortes, graças a um sistema de marca d'água invisível chamado Content Seal. A tecnologia é incorporada a toda imagem criada pelo Muse Image e serve para indicar se o conteúdo foi produzido por sistemas da Meta.

-
Entre no Canal do WhatsApp do Canaltech e fique por dentro das últimas notícias sobre tecnologia, lançamentos, dicas e tutoriais incríveis.
-

Questionada pela Reuters sobre os resultados da análise, a Meta respondeu que a ferramenta ainda está em fase de pré-visualização. A empresa disse que a marca d'água foi projetada para resistir a edições comuns, mas que o sinal pode se perder em cortes mais agressivos.

Google e OpenAI já alertaram que suas próprias ferramentas de detecção também não são infalíveis diante de técnicas de alteração de imagens.

Especialistas apontam limites da tecnologia de marca d'água

Siwei Lyu, professor de ciência da computação na Universidade de Buffalo e pesquisador de forense de imagens de IA, afirmou à Reuters que sistemas baseados em marca d'água têm limitações conhecidas, já que qualquer modificação capaz de remover ou enfraquecer o sinal embutido, como corte, redimensionamento, compressão pesada ou edição, pode reduzir a eficácia da detecção.

Sarah Barrington, pesquisadora de IA e doutoranda na Escola de Informação da Universidade da Califórnia em Berkeley, disse à Reuters que a marca d'água ainda representa um caminho promissor para identificar conteúdo gerado por IA, mesmo sem cobrir todos os casos.

Ela comparou a tecnologia a medidas preventivas de segurança física ou cibernética, que raramente são infalíveis, mas ainda representam avanço em relação à ausência total de controle.

A falha ganha relevância em um ano marcado pelas eleições de meio de mandato nos Estados Unidos, período em que a dificuldade de verificar imagens após alterações simples pode facilitar a circulação de deepfakes.

Em março, o Comitê de Supervisão da Meta, órgão que analisa decisões de conteúdo nas plataformas da empresa, já havia cobrado investimento em ferramentas de detecção mais robustas diante da proliferação de conteúdo enganoso gerado por IA.

Muse Image e o Muse Spark 1.1

O Muse Image é o novo gerador de imagens por IA da Meta, desenvolvido pela Meta Superintelligence Labs e lançado nesta semana de forma gratuita no aplicativo Meta AI, no Instagram Stories e no WhatsApp.

A ferramenta permite criar imagens a partir de comandos de texto e edições, mas também gerou controvérsia por possibilitar que usuários manipulem fotos públicas de outras pessoas no Instagram sem notificação prévia, conforme apurado pelo TechCrunch.

Dias depois, a Meta anunciou também o Muse Spark 1.1, modelo de raciocínio multimodal voltado para tarefas agênticas, com avanços em uso de ferramentas, programação e compreensão multimodal. A empresa abriu acesso ao modelo por meio de uma prévia pública de sua nova API, batizada de Meta Model API, além de disponibilizá-lo em modo "Thinking" no aplicativo Meta AI e no site meta.ai.

Leia a matéria no Canaltech.