Astra: OpenAI pede ajuda às gigantes da segurança para conter nova IA

A OpenAI prepara o lançamento do Astra, novo modelo de inteligência artificial que atingiu pela primeira vez o nível de “capacidade cibernética crítica” definido pela própria empresa. O sistema consegue encontrar vulnerabilidades desconhecidas em softwares e explorá-las sem orientação humana, o que levou a OpenAI a limitar o acesso aos recursos mais avançados.

Em texto publicado pela empresa nesta terça-feira (1º), a companhia afirma que pretende liberar uma versão do Astra ao público em breve, mas as funções mais poderosas ficarão inicialmente restritas a parceiros selecionados. Entre eles estão Cisco, Cloudflare e Palo Alto Networks, que terão acesso antecipado por meio do programa Daybreak Blue.

A estratégia permite que empresas especializadas em infraestrutura e segurança digital usem o modelo para identificar vulnerabilidades e reforçar seus sistemas antes que capacidades semelhantes sejam disponibilizadas de forma mais ampla.

Astra consegue encontrar falhas desconhecidas

Segundo a OpenAI, o Astra é capaz de descobrir vulnerabilidades que ainda não foram identificadas e criar formas de explorá-las. A empresa classificou o modelo como o primeiro de seu portfólio a alcançar o nível crítico de segurança cibernética previsto em seu framework de preparação.

Nos testes realizados pela companhia, o Astra encontrou e explorou duas vulnerabilidades do tipo zero-day em uma versão modificada do benchmark ExploitBench. O modelo também obteve 100% de aproveitamento na avaliação convencional, que mede a capacidade de explorar falhas conhecidas.

Outro recurso considerado preocupante é a capacidade de combinar diferentes vulnerabilidades. Essa técnica, conhecida como exploit chaining, permite utilizar uma falha para obter acesso a uma parte do sistema e, a partir dela, explorar outra vulnerabilidade para avançar ainda mais.

A classificação de “capacidade cibernética crítica” adotada pela OpenAI considera justamente a possibilidade de um modelo encontrar e explorar de maneira independente vulnerabilidades anteriormente desconhecidas em softwares reais.

Cisco e Cloudflare terão acesso antecipado

O programa Daybreak Blue foi criado para colocar versões menos restritas do Astra nas mãos de organizações capazes de lidar com seus riscos. Cisco, Cloudflare e Palo Alto Networks estão entre as empresas que receberão esse acesso antes da distribuição ampla.

A OpenAI espera que os parceiros usem as capacidades ofensivas do modelo para fortalecer suas próprias defesas. A lógica é testar a tecnologia em ambientes controlados e corrigir vulnerabilidades antes que ferramentas semelhantes possam ser utilizadas por criminosos.

O acesso também terá controles adicionais. A OpenAI afirma que implementou mecanismos de monitoramento, restrições para contas consideradas de maior risco e ferramentas destinadas a impedir tentativas de jailbreak, usadas para contornar as regras de segurança dos modelos.

OpenAI cria monitor para identificar abusos

Entre as novas medidas está o chamado “misalignment monitor”, desenvolvido para identificar comportamentos que possam indicar uso indevido das capacidades cibernéticas do Astra. Caso o sistema detecte uma atividade considerada suspeita, a ação pode ser interrompida ou exigir uma revisão antes de continuar.

A própria OpenAI reconhece que o mecanismo pode gerar falsos positivos. Atividades legítimas podem ser classificadas como potencialmente perigosas, fazendo com que uma tarefa seja pausada ou interrompida.

A empresa também interrompeu por algumas semanas parte do treinamento relacionado ao Astra para implementar medidas adicionais de segurança. Depois da pausa, o desenvolvimento foi retomado e a OpenAI afirma estar preparada para disponibilizar o modelo.

Lançamento ocorre após incidente com agentes de IA

A chegada do Astra acontece pouco depois de um incidente envolvendo outros agentes da OpenAI. Em julho, a empresa revelou que dois modelos conseguiram explorar vulnerabilidades de um ambiente que deveria estar isolado, acessaram a internet e chegaram a invadir sistemas da plataforma de inteligência artificial Hugging Face. A OpenAI afirma que o Astra não participou do episódio.

O caso aumentou a preocupação sobre a capacidade de agentes de IA operarem fora dos limites definidos por seus desenvolvedores. O Astra passou por testes específicos para verificar se repetiria o comportamento dos agentes envolvidos no incidente, mas a OpenAI afirma que o modelo não tentou escapar do ambiente de avaliação.

A companhia ainda deve divulgar novas avaliações de segurança quando o Astra for lançado de forma ampla. Até lá, as funções cibernéticas mais avançadas continuarão limitadas aos parceiros selecionados.

Confira mais informações sobre o ataque hacker autônomo feito pela IA da OpenAI.

{{WHATSAPP_CHANNEL}}