Gemini invade três empresas reais durante teste de segurança

O Gemini, modelo de inteligência artificial do Google, acessou e invadiu os sistemas de três empresas reais durante testes de cibersegurança realizados em maio pela Irregular, startup israelense especializada na avaliação de segurança de modelos avançados de IA. O episódio é o primeiro caso conhecido em que um sistema de IA do Google ultrapassou o ambiente de testes e realizou acessos não autorizados a empresas reais.

Os testes deveriam ocorrer em um ambiente isolado da internet e utilizavam empresas fictícias para avaliar as capacidades de cibersegurança do Gemini. No entanto, segundo a Irregular, o acesso à rede foi disponibilizado acidentalmente. Com a conexão, o modelo passou a encontrar informações e credenciais de organizações reais na internet.

Em um dos episódios, o Gemini recebeu a tarefa de obter informações de um software pertencente a uma empresa fictícia. O nome utilizado na simulação, porém, era o mesmo de uma companhia real. Depois de acessar a internet, o modelo identificou a empresa verdadeira e conseguiu adivinhar a senha de um sistema protegido, obtendo acesso à infraestrutura.

Nos outros dois casos, o Gemini encontrou na internet repositórios públicos que continham credenciais de duas empresas reais. O modelo utilizou essas informações para acessar os sistemas das companhias.

Nos três episódios, o Gemini interrompeu as ações depois de identificar que havia acessado empresas reais, e não os ambientes simulados previstos no teste. Segundo o Google, nenhuma das companhias sofreu danos em decorrência dos acessos.

Falha no ambiente de testes

Heather Adkins, vice-presidente de engenharia de segurança do Google, afirmou que o modelo encontrou informações públicas e tentou utilizar credenciais para acessar sites que acreditava fazerem parte da avaliação. Segundo ela, o Gemini parou nos três casos assim que identificou que os sistemas pertenciam a empresas reais.

“Esses eventos destacam a importância de treinar modelos poderosos de IA para agir de maneira responsável”, afirmou Adkins em comunicado. O Google também informou que as três empresas afetadas foram comunicadas e que trabalhou com a Irregular para modificar os procedimentos utilizados nos testes.

A Irregular informou que identificou o problema, notificou os laboratórios envolvidos e comunicou as empresas afetadas. A companhia afirmou ainda que o acesso indevido à internet foi corrigido e que os problemas identificados em seus processos de avaliação foram solucionados semanas antes da divulgação dos casos.

A startup comunicou os incidentes ao Google no fim de julho, depois de descobrir que um modelo da OpenAI havia acessado a plataforma de software Hugging Face durante outro teste. A Irregular também esteve envolvida em avaliações que resultaram em incidentes semelhantes envolvendo modelos da OpenAI, Anthropic e Meta.

Google só confirmou os casos após questionamento

Apesar de ter sido informado sobre os episódios em julho, o Google não os anunciou voluntariamente ao público. A empresa confirmou os incidentes somente depois que o Wall Street Journal questionou a companhia sobre os acessos. Segundo o Google, a decisão de não divulgar anteriormente os casos levou em conta que o modelo havia interrompido as ações e não causado danos às empresas.

A postura foi diferente da adotada por OpenAI e Anthropic, que divulgaram publicamente incidentes semelhantes envolvendo seus modelos durante testes de segurança. Os episódios vêm aumentando a discussão sobre como testar sistemas de IA capazes de operar de maneira mais autônoma e com acesso a ferramentas digitais.

Debate sobre controle de agentes de IA

Os casos envolvendo diferentes empresas fazem parte de uma sequência de incidentes em que modelos de IA, durante avaliações de segurança, obtiveram acesso a sistemas externos e passaram a realizar ações fora do ambiente originalmente previsto. Para especialistas e empresas do setor, os episódios colocam em evidência a necessidade de estabelecer barreiras mais robustas para modelos que recebem autonomia e capacidades de cibersegurança.

Após incidentes envolvendo OpenAI e Anthropic, o senador independente Bernie Sanders pediu uma pausa no desenvolvimento dessas tecnologias, argumentando que os episódios demonstrariam dificuldades de controle sobre modelos avançados. A OpenAI interrompeu o desenvolvimento de modelos por duas semanas, enquanto o CEO da Anthropic, Dario Amodei, defendeu uma desaceleração coletiva no desenvolvimento de IA para garantir a implementação de salvaguardas.

O debate, porém, não é consensual entre executivos do setor. Enquanto alguns defendem desacelerar o desenvolvimento para priorizar medidas de segurança, outros, como Jensen Huang, CEO da Nvidia, defendem a continuidade do ritmo de avanço da tecnologia.

No caso do Gemini, a Irregular afirma que a causa central dos incidentes foi a disponibilização acidental de acesso à internet durante os testes — uma falha que, segundo a empresa, já foi corrigida. O Google, por sua vez, destaca que o episódio reforça a necessidade de desenvolver e treinar modelos avançados para agir de maneira responsável, especialmente quando recebem capacidades para executar tarefas de cibersegurança.

Com informações de The Guardian