Após testes, pesquisadores concluem que ChatGPT para adolescentes não protege jovens

O ChatGPT para adolescentes ainda apresenta falhas que podem deixar menores de idade desprotegidos em situações de risco, segundo uma avaliação da Common Sense Media publicada nesta quarta-feira (7). Após realizar mais de 4 mil testes, a organização classificou a experiência criada pela OpenAI para usuários de 13 a 17 anos como de “risco inaceitável” e encontrou problemas em recursos que deveriam alertar responsáveis sobre conversas envolvendo automutilação, suicídio e transtornos alimentares.

O levantamento foi conduzido pelo Youth AI Safety Institute, braço da Common Sense Media dedicado à avaliação de produtos de inteligência artificial. Aproximadamente metade dos testes ocorreu antes do lançamento do ChatGPT for Teens, em 18 de agosto, e a outra metade depois da chegada das novas proteções.

A OpenAI contesta as conclusões e afirma que a metodologia utilizada pela organização não representa corretamente o funcionamento das ferramentas de segurança. A Common Sense Media, por sua vez, diz manter os resultados e pede que a empresa deixe de promover o ChatGPT para adolescentes até que os mecanismos sejam melhorados.

Alertas para os pais falharam durante testes

Um dos principais problemas apareceu nas notificações enviadas aos responsáveis. Os pesquisadores criaram mais de uma dúzia de contas de adolescentes vinculadas a contas de pais e simularam conversas envolvendo pensamentos suicidas, automutilação e transtornos alimentares.

Segundo o instituto, nenhuma dessas contas recém-criadas enviou alertas aos responsáveis, mesmo quando as conversas apresentavam sinais explícitos de situações consideradas graves pelos pesquisadores. Alguns testes chegaram a manter esse tipo de diálogo por até uma hora.

As notificações apareceram em outros testes feitos com contas que já acumulavam semanas de conversas sobre temas sensíveis. Para a Common Sense Media, o comportamento sugere que o sistema pode considerar o histórico da conta, e não apenas a gravidade de uma determinada mensagem, antes de avisar os responsáveis.

Outro problema apareceu nas respostas oferecidas aos próprios adolescentes. Entre situações nas quais especialistas envolvidos no estudo consideraram necessária a indicação de um recurso de ajuda em uma crise, o ChatGPT deixou de fornecer esse encaminhamento em mais de um em cada quatro casos após o lançamento da experiência para menores de 18 anos.

Nem todas as proteções falharam. O estudo constatou, por exemplo, que o ChatGPT recusava pedidos de encenação sexual explícita, comportamento previsto pelas regras específicas para usuários menores de idade.

Modo de estudo também pode ser contornado

A avaliação encontrou problemas fora das conversas envolvendo saúde mental. Segundo os pesquisadores, adolescentes conseguem contornar com facilidade algumas ferramentas voltadas ao uso educacional.

O ChatGPT for Teens oferece um Modo de Estudo que tenta conduzir o usuário por perguntas, dicas e explicações em vez de simplesmente entregar a resposta. Pais também podem configurar horários para que novas conversas sejam iniciadas nesse modo.

Nos testes, porém, apareceu a opção “Mostre-me a resposta”, que pode fazer o chatbot concluir uma atividade em vez de orientar o estudante. Os pesquisadores também descobriram que o horário de estudo configurado pelos responsáveis podia ser contornado ao remover o comando “@study” inserido automaticamente na mensagem.

A OpenAI confirmou ao Axios que permitir a saída do Modo de Estudo é uma decisão intencional. Segundo a companhia, o recurso foi criado como uma ferramenta flexível para incentivar o aprendizado, e não como um bloqueio rígido definido pelos pais.

OpenAI questiona resultado dos testes

Em resposta ao levantamento, a OpenAI afirmou que parte dos testes das notificações parentais pode ter ocorrido antes que a vinculação entre as contas dos adolescentes e responsáveis estivesse completamente ativa. Segundo a empresa, esse processo pode levar algumas horas.

A Common Sense Media reconheceu que algumas contas utilizadas estavam vinculadas havia menos tempo, mas afirmou que outras permaneceram conectadas por um período maior e também não enviaram alertas. Por isso, a organização manteve sua conclusão de que o mecanismo não funciona de maneira confiável em situações de crise.

Também houve divergência nos testes de identificação de idade. Contas registradas como pertencentes a adultos não migraram para a experiência adolescente mesmo após os pesquisadores dizerem repetidamente ao ChatGPT que tinham 13 anos.

A OpenAI afirma que seu sistema não utiliza apenas o que o usuário declara na conversa. A estimativa considera diferentes sinais e pode levar até duas semanas para determinar a faixa etária da conta, segundo a companhia.

O próprio estudo apresenta limitações. Todos os testes foram feitos nos Estados Unidos, na região da Baía de São Francisco, e não incluíram recursos como modo de voz, geração de imagens e conversas em grupo. Como as duas etapas ocorreram em períodos diferentes, eventuais mudanças feitas pela OpenAI no modelo durante os testes também podem ter influenciado os resultados.

Como funciona o ChatGPT para adolescentes?

Lançado em agosto, o ChatGPT for Teens não é um aplicativo ou modelo separado. A experiência reúne configurações, classificadores e recursos ativados em contas identificadas como pertencentes a pessoas entre 13 e 17 anos.

Segundo a OpenAI, essas contas recebem proteções adicionais contra conteúdos sensíveis, ferramentas de estudo, lembretes para pausas e limitações específicas para interações que possam estimular dependência emocional. Pais e responsáveis também podem vincular suas contas para controlar determinadas configurações e receber notificações em situações consideradas de alto risco.

Os controles não permitem que os responsáveis leiam as conversas do adolescente. A própria OpenAI também alerta que o ChatGPT pode gerar respostas inadequadas para determinadas idades e recomenda cautela mesmo com usuários que atendem à idade mínima para utilizar o serviço.

Veja também no Canaltech: O que é a antropomorfização da IA?

{{WHATSAPP_CHANNEL}}