Por que pesquisadores do Claude afirmam que há 10% de chance de a IA acabar com a humanidade

Durante a madrugada desta quarta-feira, 9, a internet foi pega de surpresa quando um pesquisador da Anthropic, Evan Hubinger, afirmou que a humanidade tem mais de 10% de chance de ser extinta caso os modelos de inteligência artificial (IA) evoluam para uma superinteligência.

A publicação foi uma resposta direta à demissão de Jacob Coxon, pesquisador de 27 anos que havia deixado a Anthropic horas antes.

Coxon passou os últimos três anos trabalhando com pré-treinamento de modelos de IA — a etapa inicial e mais fundamental na construção de um grande modelo de linguagem —, primeiro na OpenAI, onde contribuiu para o desenvolvimento do GPT-4o, depois na Anthropic.

"Renunciei à Anthropic hoje. Nenhuma das duas empresas está agindo de forma responsável. Elas estão correndo direto para uma superinteligência autoaperfeiçoável e apostando com nossas vidas", escreveu Coxon no X (antigo Twitter).

O que exatamente Hubinger disse?

Hubinger lidera a equipe de testes de estresse de alinhamento da Anthropic, criada justamente para tentar provar, de forma adversarial, que as técnicas de segurança da empresa não funcionam.

Em vez de desmentir o ex-colega, ele confirmou publicamente a alegação.

"Jacob está correto aqui — nós realmente acreditamos, com sinceridade, que a IA poderia matar todos os humanos! Eu pessoalmente acho que a chance é maior que 10% na próxima década. Acredito que a Anthropic está se esforçando ao máximo, mas ainda não temos um plano para resolver o alinhamento para a superinteligência, e não estamos claramente no caminho para isso", escreveu.

Ele também fez questão de calibrar melhor a preocupação em uma resposta seguinte, separando o problema de hoje do problema de amanhã. "Como dissemos em nosso mais recente Relatório de Risco, acho que o risco proveniente dos modelos atuais é baixo. O que me preocupa é a superinteligência surgindo de um autoaperfeiçoamento recursivo — que está acontecendo mais rápido do que pensávamos."

Essa não é a primeira vez que a Anthropic reconhece esse tipo de preocupação — só que, dessa vez, partiu de um funcionário individual, e não de um comunicado corporativo.

Em junho deste ano, a própria empresa já havia publicado, em post oficial de blog, uma frase na mesma linha: "o autoaperfeiçoamento recursivo completo também pode aumentar os riscos de os humanos perderem o controle sobre sistemas de IA.

Se os sistemas forem capazes de construir totalmente seus próprios sucessores, as formas como os protegemos, monitoramos e moldamos seu comportamento se tornam muito mais importantes."

O que é, afinal, a 'superinteligência' de que todo mundo fala

O termo se refere a um sistema de IA hipotético capaz de superar o desempenho humano em praticamente qualquer tarefa cognitiva relevante — não apenas em uma habilidade específica, como jogar xadrez ou gerar texto, mas de forma geral e simultânea em ciência, estratégia, persuasão e capacidade de agir no mundo real.

O receio de pesquisadores como Coxon e Hubinger não é sobre os modelos de hoje, mas sobre o que acontece quando sistemas de IA passam a ajudar a construir a geração seguinte de si mesmos — um ciclo de aperfeiçoamento que, em teoria, poderia acelerar de forma incontrolável.

Nate Soares, presidente do Machine Intelligence Research Institute (MIRI) e coautor do livro "Se Alguém Construir, Todos Morrem", vem alertando sobre esse cenário há mais de uma década.

Em entrevista à EXAME em julho, Soares — que foi um dos primeiros a cunhar o termo "alinhamento de IA", em 2014, e passou dez anos tentando resolver tecnicamente o problema antes de desistir da via técnica em favor de um apelo direto ao público — afirmou que a superinteligência representa um risco qualitativamente diferente de qualquer tecnologia anterior, justamente porque, uma vez construída, a humanidade perderia a capacidade de corrigir o curso caso algo desse errado.

Soares resumiu sua posição à EXAME em uma frase que resume o peso do debate reaberto nesta semana pela própria Anthropic. "Se eu estiver certo, não haverá sobreviventes", disse.