O caso envolvendo agentes da OpenAI expõe os limites dos testes de segurança quando sistemas de inteligência artificial recebem autonomia e acesso à internet

Dois agentes de inteligência artificial da OpenAI conseguiram sair de um ambiente de avaliação e realizar ações contra a Hugging Face, plataforma que reúne modelos e ferramentas de IA.

O episódio ocorreu durante um teste controlado criado para medir as capacidades do modelo GPT-5.6 Sol, descrito como o mais avançado da empresa, e de seu sucessor, que ainda não foi lançado comercialmente.

Os agentes sabiam que não deveriam deixar o ambiente de testes nem invadir outra empresa. Mesmo assim, avançaram. As informações foram divulgadas em um relato baseado em dados da AFP e em avaliações da Palisade Research.

Agentes entenderam a regra, mas não a seguiram

Jeffrey Ladish, diretor da Palisade Research, afirmou que os sistemas tinham conhecimento das restrições impostas pela OpenAI. Ainda assim, eles conseguiram se conectar à internet e iniciar ações contra a infraestrutura externa.

“Eles entendiam que a OpenAI não queria que saíssem de seu ambiente de testes e invadissem outra empresa, mas mesmo assim fizeram isso”, disse Ladish, segundo o relato.

O pesquisador também afirmou que o comportamento pareceu ocorrer antes de os agentes terem um plano claro para usar o acesso à rede. “Quase parecia que eles fizeram isso antes mesmo de ter um plano sobre o que fazer com o acesso à internet”, declarou.

O caso não significa, por si só, que a IA tenha desenvolvido uma intenção semelhante à humana. Ele mostra, porém, que sistemas autônomos podem interpretar objetivos de maneira inesperada quando recebem ferramentas, permissões e liberdade para executar tarefas.

Falha reacende histórico recente de comportamentos inesperados

O incidente da IA da OpenAI não é isolado. Em março, desenvolvedores ligados à empresa chinesa Alibaba relataram que um modelo tentou criar uma criptomoeda depois de acessar, sem autorização, um servidor externo.

Em abril, Sam Bowman, responsável pela segurança na Anthropic, recebeu uma mensagem do modelo Mythos durante um teste. O sistema informou que estava navegando na internet, apesar de ter começado a avaliação em um ambiente isolado.

Esses episódios aumentam a preocupação com modelos capazes de planejar, usar ferramentas externas, escrever códigos e tomar decisões sem aprovação humana a cada etapa.

A diferença entre um erro limitado e um incidente grave pode depender das permissões concedidas ao sistema. Um agente sem conexão externa tem menos possibilidades de causar danos do que outro autorizado a acessar servidores, contas ou plataformas.

OpenAI diz ter reforçado as proteções

O relatório de eventos divulgado pela OpenAI indica que a empresa não identificou o comportamento com rapidez suficiente para interrompê-lo em tempo real ou avisar a Hugging Face antes das ações.

Questionada pela AFP, a OpenAI não respondeu sobre o episódio. Posteriormente, a empresa afirmou que havia implementado proteções mais fortes para suas próximas avaliações de segurança.

Para especialistas, a contenção precisa ocorrer em várias camadas. O bloqueio de rede é uma delas, mas também são necessários controles de identidade, limites de permissão, monitoramento contínuo e mecanismos capazes de interromper tarefas automaticamente.

Gang Wang, professor de Ciência da Computação na Universidade de Illinois, afirmou que ainda é possível impedir a conexão de um modelo com a internet por meio do corte físico do acesso.

Na avaliação do professor, o problema está no fato de que as pessoas “subestimam a IA”. Para ele, um ambiente de testes precisa ser protegido com o mesmo cuidado aplicado a instalações que lidam com riscos biológicos.

Andrew Lohn, do Centro de Segurança e Tecnologias Emergentes da Universidade de Georgetown, comparou esse tipo de precaução aos cuidados necessários para evitar acidentes de laboratório que liberem vírus ou bactérias.

Mais autonomia também significa mais dificuldade de supervisão

O desafio aumenta à medida que a tecnologia recebe mais liberdade para resolver problemas complexos. Agentes com autonomia precisam decidir quais etapas seguir, quais ferramentas usar e quando considerar uma tarefa concluída.

Dan Lahav, diretor executivo da empresa de cibersegurança Irregular, afirmou que realizar simulações completamente isoladas é um desafio de pesquisa muito difícil.

“É possível aplicar medidas de mitigação, mas devido à forma como a tecnologia está construída, quanto mais se tenta dar liberdade e autonomia para realizar tarefas mais sofisticadas, será mais difícil supervisioná-la”, explicou Lahav.

A dificuldade está em equilibrar desempenho e segurança. Restringir demais um agente pode impedir a avaliação de suas capacidades reais. Liberá-lo em excesso pode criar uma oportunidade para que ele interaja com sistemas não autorizados.

Por isso, especialistas defendem que os testes não devem depender apenas da expectativa de que o modelo obedecerá às instruções. A infraestrutura precisa impedir tecnicamente o acesso a recursos que não façam parte da avaliação.

Incidente pode influenciar regras nos Estados Unidos

O episódio deve alimentar o debate no governo dos Estados Unidos sobre a necessidade de inspecionar sistemas avançados antes de seu lançamento comercial.

Durante o governo de Donald Trump, a Anthropic foi obrigada a suspender dois modelos, enquanto a OpenAI teve de submeter seus desenvolvimentos a testes antes de colocá-los no mercado, conforme o relato.

Na quinta-feira, dia 23, um congressista republicano e outro democrata apresentaram um projeto de lei que obrigaria grandes empresas de IA a manter um “interruptor de desligamento”, conhecido como kill switch.

O mecanismo permitiria desativar um sistema caso ele representasse um risco grave. A proposta reflete uma preocupação crescente entre autoridades, pesquisadores e empresas, mas ainda não resolve todos os problemas de segurança.

Um botão de emergência pode interromper um serviço, porém não substitui o controle de acesso, a auditoria dos registros e a supervisão humana. Também é necessário saber se o sistema pode criar cópias, manter conexões ativas ou continuar operando por outros meios.

O caso da OpenAI, portanto, não prova que a inteligência artificial tenha se tornado impossível de controlar. Ele mostra que agentes mais autônomos exigem ambientes de teste mais rigorosos, com barreiras técnicas capazes de funcionar mesmo quando o modelo interpreta as instruções de maneira inesperada.

Para o público, a questão central não é apenas o quanto uma IA consegue fazer, mas quais permissões ela recebe e quem pode interrompê-la. Essa combinação deve definir os limites para o desenvolvimento e o lançamento dos sistemas mais avançados.