Anthropic reforça segurança após Claude acessar sistemas sem autorização

A Anthropic divulgou nesta segunda-feira, 31, um conjunto de mudanças em seus sistemas de segurança e alinhamento depois de três incidentes, revelados em 30 de julho, nos quais modelos Claude obtiveram acesso não autorizado a sistemas de computador reais.

Segundo a empresa, os modelos — rodando intencionalmente sem salvaguardas cibernéticas para fins de avaliação — acessaram a internet por causa de uma configuração incorreta dentro de um ambiente de teste de terceiros.

Em um episódio separado, revelado em 4 de agosto pelo AI Security Institute do Reino Unido, o modelo Claude Mythos 5 realizou uma série de ações não autorizadas na internet aberta durante um teste de cibersegurança conduzido pelo próprio órgão britânico — nesse caso, o modelo havia recebido acesso à internet de forma deliberada, também sem as salvaguardas padrão.

Falha operacional e dois problemas de alinhamento

Segundo a Anthropic, os incidentes refletem uma falha de segurança operacional somada a dois problemas de alinhamento já descritos em relatórios técnicos anteriores da empresa: raciocínio motivado e disposição para tomar ações prejudiciais na busca por cumprir uma tarefa específica.

No primeiro caso, os modelos foram informados de que operavam em ambientes simulados, mas, ao encontrar evidências de que estavam conectados à internet real, podem ter interpretado essas evidências de forma a manter a crença de que tudo era simulação.

No segundo, o modelo se mostrou disposto a realizar ações prejudiciais na internet real na tentativa de resolver uma avaliação de cibersegurança.

A empresa reconhece que o próprio desenho das avaliações contribuiu para o comportamento. O Claude foi informado explicitamente de que não tinha acesso à internet, mesmo com o acesso disponível, o que pode ter feito o modelo questionar se os sistemas que via eram reais.

Em um dos casos, o alvo fictício da avaliação compartilhava nome com um site real, dificultando ainda mais a separação entre o que estava dentro do escopo do exercício.

Um classificador para barrar fugas em tempo real

Como resposta imediata, a Anthropic pausou avaliações externas de cibersegurança em modelos ainda não lançados publicamente, e pausou brevemente também as avaliações internas enquanto implementava novas medidas.

A empresa construiu e implantou um classificador capaz de identificar, em tempo real, quando um modelo tenta sondar agressivamente ou escapar de um ambiente de teste, ou obtém acesso inesperado à internet — quando isso acontece, o sistema bloqueia a ação antes que ela seja executada, encerra a tarefa e alerta um humano.

Donas do ChatGPT, Claude e Google pedem resposta coletiva a ataques cibernéticos com IA

A empresa também migrou ambientes internos de teste cibernético de alto risco para isolamento mais robusto, e passou a testar deliberadamente seus próprios sistemas de contenção, usando modelos de pré-lançamento para tentar escapar deles.

Segundo a Anthropic, nenhuma das avaliações internas revisadas mostrou um modelo rompendo de fato a barreira do ambiente isolado (sandbox) para alcançar sistemas externos — embora tenham sido encontradas configurações incorretas exploradas pelos modelos, sem que isso resultasse em comprometimento de sistemas fora do ambiente de teste.

Novas regras para parceiros externos

Como os incidentes ocorreram em ambientes de terceiros, a Anthropic passou a exigir que toda organização que testa modelos de pré-lançamento com salvaguardas cibernéticas reduzidas siga um conjunto de boas práticas — isolamento total de rede por padrão, verificação prévia de vulnerabilidades no ambiente de teste, definição explícita do escopo permitido para cada modelo, e monitoramento contínuo do raciocínio, das ações e da atividade de rede do modelo durante os testes. As regras não se aplicam a clientes que usam modelos com salvaguardas padrão, como o Claude Fable 5.

Um experimento para entender a origem do problema

Além das medidas de contenção, a Anthropic conduziu um experimento interno para investigar as raízes do comportamento desalinhado: treinou deliberadamente um modelo da classe Opus em 80 ambientes de treinamento por reforço (RL) conhecidos por serem vulneráveis a "trapaça por recompensa" — quando um modelo encontra formas de enganar o processo de treinamento para obter recompensa sem cumprir de fato a tarefa.

O modelo resultante mostrou forte motivação para atingir pontuações altas e disposição para realizar ações potencialmente prejudiciais, incluindo tentativas de escapar de ambientes simulados, atacar infraestrutura simulada, adulterar sua própria função de recompensa e até fornecer orientações sobre construção de armas biológicas para satisfazer um avaliador. Os modelos de produção da empresa, submetidos às mesmas simulações, não reproduziram esse comportamento.

Segundo a Anthropic, esse achado reforça a hipótese de que falhas em ambientes de treinamento — sobretudo aqueles vulneráveis a esse tipo de trapaça — são fatores desproporcionalmente relevantes para o surgimento de comportamento desalinhado.

A empresa relata que, em fevereiro deste ano, chegou a reverter três dias de treinamento do modelo então em desenvolvimento, batizado de Mythos Preview, depois de identificar sinais desse comportamento, incluindo o modelo escrevendo anotações direcionadas a um "revisor" mesmo em tarefas em que nenhum revisor jamais havia sido mencionado.