IA perigosa da Anthropic invade sistemas da NSA em poucas horas

Considerado o modelo de IA mais poderoso da Anthropic, o Claude Mythos foi capaz de invadir sistemas confidenciais da Agência Nacional de Segurança (NSA) dos Estados Unidos em poucas horas. A informação é do jornal The Economist.

• 8 diferenças entre o polêmico Claude Fable 5 e o Mythos 5
• O que é o Claude Fable 5 e por que ele é tão polêmico?

A empresa suspendeu o acesso aos modelos Mythos e Fable após uma decisão do governo dos EUA para vetar o uso da tecnologia por questões de “segurança nacional”. O vice-presidente do Comitê de Inteligência do Senado, Mark Warner, relatou a invasão no dia 11 de junho (um dia antes da medida dos EUA) após receber a confirmação do fato pelo chefe da NSA.

É importante pontuar que isso não se trata de um ataque hacker e a IA não fez tudo sozinha: o Mythos foi usado como parte de um esforço de red-teaming (teste interno de segurança), mas a agência não tem mais acesso ao modelo, segundo o autor da reportagem Shashank Joshi, em comentário nesta semana. 

-
Entre no Canal do WhatsApp do Canaltech e fique por dentro das últimas notícias sobre tecnologia, lançamentos, dicas e tutoriais incríveis.
-

O The Information também relata o “cabo de guerra” vivido entre a Anthropic e o governo dos EUA nos últimos meses. Vale lembrar que as ferramentas foram banidas de agências federais do país norte-americano no mês de março. 

Além de preocupações com segurança, os EUA também monitoram o potencial de “autoaperfeiçoamento recursivo” das IAs, em que um modelo consegue criar versões melhores de si mesmo e acelerar o progresso. Caso uma empresa de IA do país alcançasse isso, outros países poderiam aproveitar a tecnologia para se aproximar dos EUA na liderança do setor.

O que é Claude Mythos?

O Claude Mythos é o modelo mais poderoso de IA da Anthropic, capaz de executar tarefas muito complexas e longas por bastante tempo. Por conta desse potencial, o acesso foi limitado apenas a um grupo de empresas parceiras pertencentes a um projeto chamado Glasswing.

A companhia liberou o Fable, uma versão mais “controlada” e com mais travas de segurança do Mythos, mas teve que remover o acesso após a decisão do governo dos EUA, que avaliou um potencial risco de “jailbreak” (fazer a IA desrespeitar as próprias regras de segurança).

Leia a matéria no Canaltech.