A OpenAI desacelerou parte do desenvolvimento do Astra depois que avaliações internas levantaram uma preocupação incomum: a empresa diz que não consegue descartar que o novo modelo tenha atingido o nível “Critical” de capacidade em cibersegurança, uma das classificações mais altas previstas em seu próprio sistema de avaliação de riscos.

Segundo informações divulgadas pela empresa, atividades com o Astra que ainda não atendem aos controles de segurança exigidos para esse patamar foram interrompidas enquanto novas proteções são implementadas.

Isso não significa que esteja comprovado que o Astra consegue invadir autonomamente qualquer sistema protegido. O ponto é outro: os resultados obtidos foram suficientes para que a OpenAI não pudesse excluir essa possibilidade dentro dos critérios de seu Preparedness Framework, levando a companhia a adotar medidas preventivas.

O que significa o nível “Critical” para o Astra

O Preparedness Framework é usado pela OpenAI para acompanhar capacidades que podem criar riscos graves à medida que seus modelos ficam mais poderosos.

Em cibersegurança, o nível “High” já contempla habilidades avançadas, como contribuir significativamente para operações complexas contra sistemas bem protegidos. O estágio “Critical” é mais severo e abrange capacidades capazes de abrir novos caminhos para danos graves.

A diferença também altera as medidas exigidas pela própria OpenAI. Para modelos que podem chegar ao nível Critical, as salvaguardas precisam ser adequadas não apenas antes do lançamento, mas durante o próprio desenvolvimento.

É justamente essa regra que ajuda a explicar a desaceleração do Astra.

Modelos de IA estão ganhando mais autonomia em tarefas de segurança

A preocupação surge enquanto modelos avançados deixam de apenas sugerir pequenos trechos de código e passam a executar sequências mais longas de tarefas.

Isso pode ser útil para encontrar vulnerabilidades, analisar malware, fazer engenharia reversa e verificar correções. As mesmas capacidades, porém, podem ser usadas ofensivamente.

Esse caráter de uso duplo torna a segurança especialmente complicada: limitar completamente as capacidades cibernéticas também reduziria a utilidade dos modelos para pesquisadores e profissionais responsáveis por defender sistemas.

A OpenAI vem tentando lidar com esse problema por meio de controles de acesso e programas destinados a profissionais de segurança verificados.

OpenAI amplia testes e proteções antes de avançar

A desaceleração não significa que o Astra tenha sido abandonado. A empresa pretende reforçar suas salvaguardas e ampliar as avaliações antes de avançar com determinadas atividades envolvendo o modelo. A OpenAI também iniciou testes com organizações selecionadas de segurança em inteligência artificial e representantes governamentais para avaliar os riscos e as proteções necessárias.

O episódio mostra uma consequência prática do avanço dos modelos de IA: as capacidades de programação e cibersegurança podem evoluir rápido o suficiente para que os controles usados no desenvolvimento também precisem mudar.

Por enquanto, porém, permanece uma ressalva importante. A OpenAI não confirmou publicamente que o Astra efetivamente alcançou o nível Critical. O que a empresa afirma é que suas avaliações atuais não permitem descartar essa possibilidade, e essa incerteza já foi suficiente para desacelerar parte do trabalho.

Você também deve ler!

Microsoft e OpenAI movimentam bilhões entre si: entenda uma parceria que vai muito além do ChatGPT