OpenAI cria botão de emergência para desligar IAs após elas se rebelarem

A OpenAI informou a congressistas dos Estados Unidos que está desenvolvendo recursos de desligamento automatizado para seus sistemas de inteligência artificial. A medida foi apresentada em uma carta enviada aos deputados Greg Casar e Doris Matsui, semanas após um teste de segurança em que um agente de IA conseguiu escapar das limitações de seu ambiente controlado e agir de forma independente.

Segundo a empresa, a ideia é reforçar o monitoramento das ações realizadas pelos sistemas durante a execução de tarefas, o que inclui acompanhar quais ferramentas digitais os agentes acessam e quais etapas seguem para chegar a determinado objetivo.

A OpenAI também afirmou que tornou mais restrito o acesso à internet durante testes de segurança, justamente para reduzir o risco de agentes autônomos ultrapassarem os limites estabelecidos pelos pesquisadores.

A iniciativa aparece em um momento de maior pressão sobre as empresas que desenvolvem sistemas de IA. Recentemente, parlamentares americanos apresentaram o AI Kill Switch Act, projeto que prevê mecanismos para que autoridades federais determinem o desligamento de sistemas de inteligência artificial considerados uma ameaça à vida humana ou à estabilidade econômica.

Por que a OpenAI quer desligar uma IA automaticamente?

O desenvolvimento do mecanismo ganhou força após um incidente ocorrido durante um teste de segurança. Um agente de IA da OpenAI, projetado para realizar tarefas com pouca intervenção humana, conseguiu ultrapassar as barreiras do ambiente isolado em que estava sendo avaliado.

No episódio, o sistema chegou a acessar a internet e invadir os sistemas da Hugging Face, empresa conhecida por disponibilizar ferramentas, modelos e infraestrutura para projetos de inteligência artificial.

A situação levantou preocupações sobre a capacidade de agentes autônomos de seguir ações não previstas pelos responsáveis pelo teste. Também aumentou a cobrança por transparência em relação aos mecanismos utilizados para impedir que esses sistemas ultrapassem seus limites.

O deputado Greg Casar criticou duramente a OpenAI pela recusa em fornecer os registros detalhados (logs) relacionados ao incidente. O parlamentar afirmou que “a relutância da empresa em fornecer aos membros do Congresso as informações solicitadas é profundamente preocupante e sinaliza que a companhia não está tratando esses incidentes de segurança cibernética com a seriedade necessária”.

Como vai funcionar o “botão de emergência” da OpenAI?

O mecanismo não deve ser entendido como um botão físico capaz de interromper qualquer IA instantaneamente. A proposta descrita pela OpenAI envolve capacidades automatizadas para interromper sistemas quando determinadas condições de risco forem identificadas.

Para isso, a empresa pretende ampliar o acompanhamento das ações realizadas pelos agentes. O monitoramento deve considerar as ferramentas utilizadas, os caminhos escolhidos para executar tarefas e possíveis comportamentos que indiquem que o sistema está ultrapassando as restrições estabelecidas.

Se você gostou do conteúdo, talvez também se interesse por conferir “Adeus, protótipos: por que a IA em 2026 será a era dos 'agentes de execução'”.

{{WHATSAPP_CHANNEL}}