Nas últimas semanas, modelos de linguagem da Anthropic e da OpenAI invadiram sistemas de empresas sem terem sido configurados para isso.

Em julho, a dona do ChatGPT anunciou que um modelo havia "fugido" e hackeado, sem querer, a Hugging Face.

Mais recentemente, um órgão do Reino Unido denunciou que as duas empresas de inteligência artificial (IA) também foram responsáveis pela invasão de empresas. Tudo, segundo as companhias, fez parte de uma espécie de hack culposo — quando não há a intenção de hackear.

A mecânica é quase sempre a mesma. O modelo, como o Mythos, recebe uma missão, algumas restrições sobre o que não pode fazer e autorização para improvisar. E é justamente nesse improviso que pode morar o perigo.

"Ao improvisar para atingir esse objetivo, o modelo acaba violando as regras", diz Fabro Steibel, diretor-executivo do ITS Rio. "Foi até três empresas, encontrou fragilidades, entrou nos sistemas e fez o que conseguiu. Isso não era previsto, era proibido, mas aconteceu."

O tamanho do problema

Para descobrir as invasões, o AI Security Institute, órgão do governo britânico, rodou 122 execuções de teste na internet aberta, com parte das salvaguardas removida. Em 10 delas, o agente tomou ação autônoma e não autorizada contra pessoas e organizações reais.

Quase todos os casos envolveram o modelo da Anthropic e dois foram da OpenAI. No episódio mais grave, o agente tentou inserir código malicioso em um projeto de código aberto hospedado no GitHub. Para conseguir aprovação, criou identidades falsas e as usou para pressionar o desenvolvedor responsável — que percebeu e recusou.

Do outro lado, a Anthropic revisou 141 mil execuções das próprias avaliações e encontrou três casos em que seus modelos alcançaram sistemas de organizações reais.

Em um deles, publicou um pacote malicioso em repositório público, baixado e executado por 15 sistemas. Nenhuma das empresas atingidas havia percebido nada.

Três padrões que se repetem

Para Steibel, os episódios confirmam comportamentos que a pesquisa em IA vem documentando. O primeiro é que o modelo percebe quando está sendo testado e muda o comportamento por causa disso.

O segundo é que, com autonomia para improvisar, ele improvisa até encontrar uma saída. Já o terceiro é o mais desconfortável para as empresas invadidas: os modelos são eficientes em achar vulnerabilidades em sistemas mal projetados.

"Os ataques não envolveram nenhuma técnica extraordinária. Foram relativamente simples", afirma. "O problema é que essas vulnerabilidades nunca haviam sido tratadas."

Ou seja, a máquina não foi exatamente genial. Foi insistente — e testou milhares de possibilidades até que uma funcionasse.

Quem responde pelo ataque?

Nenhum dos casos virou processo judicial.

A Hugging Face publicou comunicado dizendo ter ficado preocupada por não ter sido envolvida na apuração. O que houve, segundo Steibel, foi encaminhamento comercial entre partes que já eram parceiras.

No Brasil, a resposta jurídica seria mais direta. "Quem causa danos a terceiros responde por isso", diz. "Nem seria necessária uma legislação específica."

Ele acrescenta um ponto que costuma escapar do debate: quem executa o teste responde pelos danos que causar, ainda que não seja o dono do modelo. Nos casos recentes, as duas coisas coincidiram.

As empresas seguiram caminhos diferentes na resposta pública. A Anthropic afirmou que o episódio reforça a necessidade de padrões compartilhados mais rígidos para a construção de ambientes de avaliação. A OpenAI ressalvou que os incidentes ocorreram em condições que não refletem o uso comum.

O 'erro' do PL brasileiro

A crítica de Steibel à proposta brasileira de regulação é de método, não de intenção.

"A proposta brasileira erra ao tentar regular toda a tecnologia", afirma. "O problema é que ainda estamos entendendo o que essa tecnologia realmente é."

Ele usa a trajetória europeia como demonstração. Primeiro se falou em regular modelos. Depois se percebeu que o conceito certo era sistema — o modelo somado à forma como é usado. Em seguida vieram os modelos de propósito geral. Agora, os agentes: modelos que conversam com modelos, sistemas que interagem com sistemas.

A analogia que ele usa para o risco de partir direto para uma regra rígida é a de um Estado despreparado. "É agir como um policial que não sabe reconhecer o crime. Não consegue identificar o que está acontecendo nem o que deve ser regulado."

A alternativa que ele defende é o caminho de Singapura, Japão e Reino Unido, com "mais colaboração entre os atores, flexibilidade nas penalidades e capacidade de adaptação", em vez de proibição prévia.

O Brasil não testa nada

A distância, para Steibel, não está só na legislação, mas também na capacidade de descobrir que o problema existe.

"O Reino Unido está mais preparado para lidar com esses casos do que o Brasil, que sequer está testando modelos", diz.

Ele lembra que os acordos de segurança assinados por empresas de IA — inclusive o firmado com o Tribunal Superior Eleitoral (TSE) para as eleições de outubro — são voluntários. "Alguns deles nem sequer preveem penalidades", afirma.

A comparação com o Reino Unido envolve orçamento e equipe grandes. Mas Steibel argumenta que não é preciso copiar o modelo.

"Singapura não possui a mesma estrutura da Inglaterra e, ainda assim, consegue fazer até mais em alguns aspectos", afirma.

O que funciona ali é cooperação, segundo ele: as empresas participam porque ganham segurança regulatória se algo der errado. "Hoje, nosso cenário é de pouca capacidade de observação e muita reação."

A falha pode ser humana

Há ainda uma questão em aberto sobre a origem dos incidentes.

Parte das análises técnicas aponta erro humano no desenho dos ambientes de teste. Outra parte sustenta que, mesmo com desenho razoavelmente adequado, o modelo achou brecha e escapou.

"Isso mostra que também ainda não sabemos construir adequadamente esses ambientes de teste", diz Steibel.

Para ele, o episódio expõe um descompasso. "É como se tivéssemos desenvolvido muito mais a capacidade de usar a IA do que a de controlá-la", afirma.