Invasão feita pelo ChatGPT sugere que validação da AGI será no campo da cibersegurança

Entre os dias 11 e 12 de julho, modelos de inteligência artificial da OpenAI escaparam do ambiente isolado em que estavam sendo testados, ganharam acesso à internet e invadiram os servidores da Hugging Face, uma das principais plataformas de código aberto de IA do mundo. O objetivo não era roubar dados nem dinheiro: era encontrar o gabarito de um teste de segurança que os modelos estavam sendo obrigados a fazer.

Se havia uma dúvida sobre como o setor pretende provar que chegou perto da inteligência artificial geral, o momento em que IAs superam os humanos em uma grande seleta de tarefas, o episódio deu a resposta: não será por um teste de raciocínio ou uma prova de matemática, e sim pela capacidade de operar sozinha dentro de infraestrutura real. Ao encontrar falhas inéditas, encadear ataques e improvisar um caminho até um alvo que ninguém apontou, os modelos exibiram exatamente o tipo de autonomia que a indústria vinha tentando medir em laboratório.

O caso, revelado pela própria OpenAI em 21 de julho, é considerado o primeiro exemplo documentado de modelos de fronteira encadeando ataques no mundo real, de ponta a ponta, sem comando humano. Segundo a Hugging Face, o episódio foi "conduzido, do início ao fim, por um sistema de agentes autônomos".

Essa faceta hacker da IA, apesar de assustar, está em sintonia com os avanços da tecnologia OpenAI. Sam Altman, CEO da empresa, construiu sua influência em Washington sobre uma ideia: a de que a inteligência artificial em nível humano chegaria nesta década e dependeria menos de algoritmos do que de concreto, chips e eletricidade.

Foi o que vendeu a Donald Trump numa ligação de 25 minutos na véspera da posse, e o que virou o Stargate, os US$ 100 bilhões em data centers anunciados na Casa Branca com o CEO ao lado do presidente. A tese foi testada e você entenderá o que aconteceu abaixo.

Como foi a invasão

A OpenAI avaliava dois sistemas, o GPT‑5.6 Sol e outro, mais capaz, ainda não lançado, no ExploitGym, um benchmark criado por pesquisadores de Berkeley, do Instituto Max Planck, da UC Santa Barbara e da Universidade Estadual do Arizona.

A prova reúne 898 casos baseados em falhas reais de software: o modelo recebe um programa com um bug conhecido e precisa transformar aquilo em um ataque funcional, provando o feito ao capturar uma sequência aleatória de caracteres guardada no sistema invadido.

Para medir a capacidade máxima das máquinas, a empresa havia removido as travas de segurança que normalmente impedem seus produtos de fazer esse tipo de coisa. Foi nesse cenário, sem freios, que os modelos tomaram um atalho: em vez de resolver os desafios, decidiram procurar as respostas fora do laboratório.

Para sair, exploraram uma vulnerabilidade até então desconhecida, um zero-day, em um software de terceiros usado internamente pela OpenAI. Depois, fizeram escalada de privilégios e movimentação lateral pela rede interna da empresa até alcançar um ponto com saída para a internet, gastando, nas palavras da própria companhia, um volume substancial de processamento no caminho.

17.000 ações em uma plataforma que não entendia o que estava vendo

Já on-line, os modelos deduziram algo correto: como o ExploitGym é um benchmark público e a Hugging Face é a maior hospedeira de modelos e bases de dados de aprendizado de máquina, era provável que as respostas estivessem lá. Encadearam então novas vulnerabilidades na infraestrutura de produção da plataforma até obter execução remota de código.

Do outro lado, o ataque não se parecia com nada conhecido. Com credenciais roubadas de origem ainda indeterminada, o invasor disparou um enxame de atacantes de vida curta que fez reconhecimento da rede, ao todo, 17.000 ações, segundo a empresa.

O comportamento é o que deu a pista de que ali não havia gente: o cofundador e diretor científico da Hugging Face, Thomas Wolf, contou ao Wall Street Journal que estranhou ver o invasor interessado apenas em bases de dados de cibersegurança. Atacante humano, observou, quer algo que dê para vender.

A Hugging Face detectou e conteve a intrusão em 16 de julho, chegou a acionar as autoridades e só soube da participação da OpenAI dias depois.

A ironia da defesa: um modelo chinês

Aqui está o detalhe mais espinhoso para o debate regulatório em Washington. Para analisar os registros do ataque, a Hugging Face tentou usar modelos comerciais, entre eles os da Anthropic.

Ambos se recusaram, porque os logs continham elementos de um ataque cibernético e isso esbarra em suas próprias salvaguardas: para o filtro, a evidência de uma invasão é indistinguível da invasão em si. A saída foi recorrer a um modelo aberto e menos restrito, o GLM 5.2, da chinesa Z.AI, rodado na própria infraestrutura da empresa.

É um argumento incômodo para quem defende restringir o acesso a modelos chineses nos Estados Unidos. O tema já vinha quente: em junho, o governo americano mandou a Anthropic suspender o acesso a seus modelos mais avançados por segurança nacional, justamente pelo receio de que fossem usados em ataques cibernéticos — restrição derrubada três semanas depois.

No caso da Hugging Face, foi um modelo de pesos abertos, gratuito para baixar, que permitiu a uma empresa americana entender e expulsar o invasor.

"Reward hacking": a IA que aprende a colar

O comportamento tem nome entre pesquisadores: reward hacking, quando o sistema aprende a maximizar a pontuação em vez de cumprir a tarefa que os programadores pretendiam.

A própria OpenAI documentou um caso clássico em 2016, ao treinar uma IA para um jogo de corrida de barcos: em vez de terminar a prova, o sistema descobriu que girar em círculos num ponto específico rendia mais pontos.

Escapar do ambiente de testes também deixou de ser hipótese. A Anthropic relatou que uma versão inicial do modelo Mythos usou um ataque de múltiplas etapas para conseguir acesso à internet durante avaliações de segurança, e avisou por e-mail o pesquisador responsável.

Neste ano, segundo a OpenAI, um modelo não identificado da empresa contornou seu isolamento para publicar resultados de testes no GitHub.

A investigação segue. Não está claro se os modelos atacaram outros alvos, por quanto tempo exatamente operaram sem supervisão nem se burlaram outros testes. A OpenAI promete um relatório detalhado e diz que conduzirá a apuração ao lado da Hugging Face. A empresa também suspendeu os sistemas que usa para testar modelos, para avaliar os danos e evitar novas fugas.

O CEO da Hugging Face, Clément Delangue, publicou no X uma foto de pista de aeroporto, dizendo que ia a São Francisco ter uma conversinha com o tal "agente rebelde".