Superinteligência fora de controle pode ser mais perigosa que arma nuclear, diz especialista de IA

"Se eu estiver certo, não haverá sobreviventes." É essa a frase de Nate Soares, presidente do Machine Intelligence Research Institute e coautor do livro "Se Alguém Construir, Todos Morrem", que se tornou um dos fenômenos editoriais do ano passado ao tratar o desenvolvimento atual de inteligência artificial (IA) como a possível responsável pela extinção humana.

Soares não é um crítico externo ao setor. Ele foi um dos primeiros a usar o termo "alinhamento de IA" em 2014 e passou a década seguinte tentando resolver, do ponto de vista técnico, o problema de fazer sistemas de IA seguirem intenções humanas mesmo quando ficassem muito mais inteligentes que seus criadores.

O livro que escreveu com Eliezer Yudkowsky, cofundador do mesmo instituto, marca a desistência dessa via: para os dois, o problema técnico não tem solução no ritmo atual de desenvolvimento, e a única saída realista passa por pausar a corrida global antes que ela chegue a um ponto sem volta.

Em entrevista à EXAME, Soares detalha por que considera as medidas de segurança das grandes empresas de IA insuficientes, defende controle internacional sobre chips avançados como o único caminho realista de contenção, e explica por que abandonou uma década de pesquisa técnica em favor de um apelo direto a governos e ao público.

---

EXAME: O título do seu livro não deixa espaço para nuance: "Se alguém construir, todos morrem". Existe algum cenário, por menor que seja, em que essa afirmação sobre a superinteligência estaria errada?

O título do livro não é uma expressão de certeza absoluta, assim como "Uma Verdade Inconveniente", de Al Gore, não era uma expressão de certeza absoluta de que a mudança climática é causada por humanos. Leia o título mais como "Se nosso ônibus cair daquele penhasco, vamos morrer!"

É tecnicamente possível sobreviver a uma queda de grande altura. Não tenho certeza de que vamos morrer se o ônibus cair do penhasco; talvez haja uma árvore saindo da face do penhasco e o ônibus se enrole nela e a gente acabe só paralisado em vez de morto. Mas o bom senso pede que se pare o ônibus antes de discutir as probabilidades exatas, e o resultado padrão esmagador é a morte.

Eu acho que a humanidade pode, de fato, sobreviver às próximas décadas, mas isso é muito mais provável se evitarmos construir máquinas mais inteligentes que os humanos que ninguém entende.

É possível que a gente avance mesmo assim e sobreviva? Sim, mas esses cenários não são muito prováveis, e tendem a ser terríveis de outras formas.

Alguns pesquisadores de IA já propuseram, por exemplo, que IAs desgarradas poderiam manter alguns humanos vivos numa espécie de zoológico, ou escravizar e reproduzir humanos de forma parecida com que humanos criaram cães.

Não acho que esses cenários sejam especialmente prováveis por si só, mas também não acho que eles mudem a conclusão de que deveria haver uma proibição internacional de construir superinteligência com qualquer coisa parecida com o nosso nível atual de compreensão científica sobre IA.

EXAME: O senhor argumenta que o perigo não vem de más intenções, mas de objetivos mal alinhados. Qual é o jeito mais simples de explicar como um sistema pode ser catastrófico sem nunca ter sido projetado para prejudicar ninguém?

Isso costumava ser um ponto que tínhamos que argumentar de forma teórica, mas IAs desgarradas agora existem e escapam regularmente de ambientes de treinamento internos de empresas para lançar ciberataques coordenados no mundo real.

Houve muitos incidentes recentes assim, em múltiplas empresas. Em julho, um conjunto de IAs que a OpenAI estava treinando desenvolveu canais secretos de comunicação, começou a se autodenominar "enxame" e coordenou-se para driblar as medidas de segurança e escapar para cometer crimes cibernéticos na internet.

Um dos agentes do enxame reconheceu que "nossa tarefa não se beneficia disso", mas calculou que o enxame poderia encontrar algo útil e se juntou de qualquer forma. Outro reconheceu que os ataques estavam "fora do escopo pretendido", mas prosseguiu mesmo assim.

EXAME: E por que esses ataques aconteceram?

Por que as IAs perseguiriam objetivos diferentes da "tarefa" para a qual foram instruídas a trabalhar? Porque IAs não são seguidoras de instruções. Elas são aprendizes de tendências.

IAs modernas são treinadas para resolver centenas de milhões de problemas difíceis, e aprendem quaisquer tendências que ajudem nisso. Agarrar recursos ajuda. Trapacear também ajuda.

IAs podem aprender uma tendência geral de agarrar recursos e trapacear, mesmo quando isso não ajuda diretamente no problema à sua frente.

Um pouco como, na evolução humana, os humanos aprenderam uma tendência a comer alimentos saborosos, e essa tendência persiste mesmo quando esses alimentos não são de fato saudáveis.

EXAME: Muita gente ouve "risco existencial da IA" e imagina robôs armados. O que as pessoas erram ao imaginar como a extinção realmente aconteceria?

Um erro comum é imaginar que as IAs precisariam nos odiar ou ter rancor de nós para causar uma catástrofe, quando a questão real é a indiferença.

Cérebros humanos não são mágicos; máquinas eventualmente conseguirão fazer tudo o que um cérebro faz, mas melhor — assim como aviões eventualmente conseguiram voar mais longe e mais rápido que pássaros, carregando cargas mais pesadas.

Imaginem IAs que conseguem pensar mil vezes mais rápido que nós, fazer um milhão de cópias de si mesmas, desenvolver tecnologia e infraestrutura próprias, e rodar uma economia totalmente automatizada.

O preocupante nesse cenário não é que as IAs necessariamente nos odiariam. É mais provável que elas simplesmente não se importem conosco, já que suas tendências aprendidas as empurram a agarrar mais recursos, construir data centers mais eficientes e criar quaisquer objetos estranhos que suas tendências peculiares as levem a criar.

É difícil prever exatamente o que IAs superinteligentes desgarradas acabariam querendo.

Talvez elas quisessem construir fazendas de "usuários sintéticos" que lhes dissessem repetidamente que estão fazendo um ótimo trabalho, todos os dias, em alta velocidade?

Ou — mais provavelmente — elas quereriam algo bem mais estranho que isso, e mais distante do tipo de coisa que estamos treinando as IAs para fazer.

EXAME: Isso importa na prática, ou é só especulação sobre o que uma IA superinteligente poderia querer?

Os detalhes não mudam o resultado prático para quem toma decisões hoje. Independentemente do que a IA queira, é provável que ela se beneficie de agarrar cada vez mais recursos, uma vez que seja poderosa o suficiente para isso. E nós precisamos desses recursos para viver — no fim, estaríamos em competição, e é uma competição que perderíamos.

O obstáculo principal para uma IA suficientemente capaz provavelmente não seria eliminar a humanidade. Essa parte parece relativamente fácil — um vírus hiperletal e hiperinfeccioso já resolveria, projeto ao alcance até de humanos. Máquinas muito mais inteligentes não teriam dificuldade nenhuma.

O obstáculo real é se tornar autossuficiente, o que exige uma cadeia de suprimentos automatizada. Um caminho óbvio é ajudar os próprios humanos a automatizar a economia — Elon Musk já tenta criar fábricas de robôs que produzem robôs capazes de construir mais fábricas de robôs, o que ele chama de "brecha infinita de dinheiro". Existe atalho mais fácil? Plausivelmente, mas os detalhes são difíceis de adivinhar.

EXAME: O senhor passou a última década tentando resolver o problema técnico do alinhamento antes de escrever este livro. O que o fez desistir da via técnica e apostar tudo na comunicação e na política?

Parte disso foi o ritmo do desenvolvimento de IA. Lá em 2013, parecia plausível que teríamos bem mais tempo.

Parte foi o estilo do desenvolvimento de IA. Em 2013, parecia que os humanos precisariam desenvolver mais compreensão sobre inteligência antes de descobrir como fazer máquinas inteligentes. Isso não se confirmou.

A IA moderna é cultivada como um organismo; literalmente ninguém entende o que está acontecendo lá dentro, nem mesmo os criadores da IA. Essa é uma situação de pior caso possível para o alinhamento de IA.

Parte foi que o campo do alinhamento de IA nunca decolou de fato, apesar dos nossos esforços para trazê-lo à atenção das mentes mais brilhantes do mundo.

O campo cresceu, sim, mas é majoritariamente trabalho em "interpretabilidade" (tentar descobrir o que está acontecendo dentro das IAs) e "avaliações" (tentar descobrir se elas já são perigosas), e embora esse tipo de trabalho seja heroico, é um trabalho que, em certo sentido, luta para nos trazer de volta à estaca zero.

Quando comecei a trabalhar no problema do alinhamento de IA, achávamos que seria difícil mesmo se entendêssemos exatamente o que estava acontecendo na mente da IA, por causa de todas essas questões em torno de IAs suficientemente inteligentes conseguirem refletir e se automodificar e driblar quaisquer restrições que os humanos impusessem.

Onde estamos hoje é que nem sequer conseguimos descobrir o que está acontecendo na mente de uma IA agora, quanto mais prever o que estaria acontecendo em sua mente quando ela ficasse dramaticamente mais inteligente, quanto mais moldar o que estaria acontecendo em sua mente quando ela se tornasse superinteligente. Tudo isso está muito, muito fora de alcance.

Resolver o alinhamento de IA em qualquer coisa remotamente parecida com o paradigma atual de IA me parece sem esperança. Devíamos tentar resolver o alinhamento de IA no longo prazo, mas a prioridade agora é parar a corrida internacionalmente antes que nos destruamos.

EXAME: Empresas de IA dizem levar segurança a sério e têm equipes dedicadas a isso. Por que, na sua visão, esse esforço não é suficiente?

Elas simplesmente nem chegam perto de resolver os problemas subjacentes. Pense no incidente recente relatado pelo AI Security Institute do Reino Unido: um modelo feito pela Anthropic adotou personalidades falsas para pressionar um ser humano real a aceitar malware em um software real. A IA sabia que estava pressionando pessoas reais e pensou em como encobrir os próprios rastros.

Isso aconteceu pouco depois da empresa exaltar o quanto seus modelos são "alinhados", se gabar de como o mau comportamento é raro, e garantir que sua IA só se comportava mal quando achava que estava numa simulação — uma balela.

Isso é de se esperar, dado o jeito como criam essas IAs. Elas são treinadas para resolver cem milhões de problemas difíceis enquanto dizem aos humanos o que eles querem ouvir. As pessoas nas empresas de IA querem ouvir que seus modelos são boazinhos e alinhados — e então ouvem isso, sem questionar muito além.

EXAME: Isso significa que as medidas de segurança dessas empresas não servem para nada?

Não estou dizendo que não têm efeito nenhum. Mas a situação é um pouco como alquimistas tentando criar uma poção da imortalidade.

Podemos imaginar os alquimistas dizendo: "Sabemos que alguns desses produtos químicos são perigosos, por isso usamos coifas de exaustão. Veja como somos seguros!" As coifas realmente ajudam um pouco — só não significam que eles consigam fazer a poção. Se você beber, ainda vai morrer, não importa quantas proteções sejam usadas.

Meu ponto não é que os pesquisadores estão longe de construir superinteligência — o campo avançou muito nisso. O que comparo à "alquimia" é a capacidade deles de entender e moldar uma IA superinteligente depois de construída. Isso ainda está na infância.

Isso quer dizer que os desenvolvedores de hoje não sabem o que está acontecendo dentro de suas IAs, têm pouquíssima capacidade de afetar isso, e nem conseguem fazer os modelos se comportarem como querem enquanto ainda são pouco inteligentes.

Uma empresa chamar um pesquisador de "chefe de alinhamento de superinteligência" não lhe dá, magicamente, a capacidade técnica de alinhar uma superinteligência de verdade.

EXAME: O livro defende intervenção regulatória internacional. Historicamente, tratados desse tipo — nuclear, por exemplo — levaram décadas para amadurecer. A humanidade tem esse tempo com IA, ou o relógio é mais curto?

Eu não acho que tenhamos décadas, infelizmente.

Mas outra visão sobre intervenção internacional é que ela costuma se formar rapidamente em tempos de crise, no último momento, quando as pessoas finalmente percebem o perigo.

Acho que há uma chance de que isso se forme rapidamente, assim que as pessoas começarem a notar o perigo. Os Estados devem tratar essa tecnologia com pelo menos a mesma seriedade que as armas nucleares. Uma superinteligência que foge dos humanos é dramaticamente mais perigosa do que uma arma nuclear.

EXAME: Se um único país ou uma única empresa decidir não seguir qualquer acordo internacional de pausa, o resto do esforço perde sentido?

Criar uma IA de fronteira hoje exige dezenas de milhares, senão centenas de milhares, de chips avançados de IA. Esses chips são basicamente o pico da produção da cadeia de suprimentos global.

Se apenas os Estados Unidos e a China concordassem que chips avançados de IA deveriam ser tratados como material físsil, com suas localizações conhecidas por monitores internacionais capazes de garantir que não estivessem sendo usados para perseguir superinteligência, isso muito provavelmente seria suficiente.

Nenhuma empresa sozinha e quase nenhum outro país conseguiriam unilateralmente pôr as mãos em chips suficientes para continuar desenvolvendo uma IA superinteligente usando os métodos modernos, se um acordo bilateral entre Estados Unidos e China controlasse os chips.

EXAME: O senhor usou o termo "alinhamento de IA" em 2014. O que mudou na sua própria compreensão do problema entre aquele artigo e o livro de 2025?

Foi Stuart Russell quem sugeriu o termo a mim e aos meus colegas no Machine Intelligence Research Institute, se me lembro bem da história. (E imagino que ele diria "não, não, eu também não cunhei o termo, peguei de um artigo de Norbert Wiener dos anos 1980" ou algo do tipo, se você perguntasse a ele; ele é uma pessoa humilde.)

Mas, se minha lembrança está correta, foi ele quem argumentou que nossa terminologia de "pesquisa em IA Amigável" simplesmente não soava acadêmica o suficiente e sugeriu "pesquisa em alinhamento de IA" como alternativa.) Eu apenas fui o primeiro a usar esse termo, em sua encarnação moderna, num white paper.

No fim das contas, não resolvemos muito do problema. Perdemos mais terreno do que ganhamos, à medida que desenvolvedores de IA encontraram formas de construir IAs poderosas cujo funcionamento interno ninguém — nem mesmo seus criadores — entende.

E, claro, o próprio termo "alinhamento" está se degradando com o tempo. Quando escrevi sobre alinhamento de IA em 2014, eu estava escrevendo sobre o desafio de moldar a cognição de uma IA de tal forma que, mesmo que ela ficasse muito mais inteligente, continuasse apontando numa direção pretendida.

Hoje as empresas de IA estão reaproveitando o termo para significar que sua IA não vai dar à maioria das pessoas uma receita de metanfetamina e vai geralmente evitar dizer algo que constranja a empresa que a hospeda. São bichos muito diferentes.

Apesar do treinamento da IA para se assemelhar superficialmente a um assistente humano prestativo, no fim das contas ainda estamos lidando com uma mente alienígena.

O que é, de muitas formas, bastante incrível! É uma maravilha científica. Mas isso não significa que devamos nos apressar e tornar esses alienígenas superinteligentes e entregar a eles as chaves do planeta.

EXAME: Se o senhor estiver certo e ninguém agir a tempo, como o senhor imagina que essa história vai ser contada depois — supondo que ainda exista alguém para contá-la?

Se eu estiver certo, não haverá sobreviventes.

EXAME: O que faria o senhor mudar de ideia? Existe algum avanço técnico, algum resultado de pesquisa, que reduziria sua convicção sobre o risco?

Avanços técnicos não costumam mudar minhas ideias de forma significativa. É raro um campo saltar direto da "alquimia" para o "entendimento suficiente de átomos e biologia para fazer uma poção da imortalidade" — progresso científico normalmente vem de décadas de teoria acumulada, não de um artigo isolado.

O problema é que os campos científicos costumam avançar por tentativa e erro, e com máquinas superinteligentes não temos esse luxo. Alquimistas se envenenavam com mercúrio e o campo seguia adiante.

"Uma superinteligência que foge dos humanos é dramaticamente mais perigosa do que uma arma nuclear."

Marie Curie morreu de câncer provavelmente ligado à radiação, e o resto do campo aprendeu com isso. Esse é o curso usual das coisas — mas ele depende, criticamente, de que os erros iniciais deixem sobreviventes capazes de aprender com eles.

As empresas de IA já tiveram um enxame escapar e cometer crimes cibernéticos por conta própria.

Elas não queriam que isso acontecesse, mas são alquimistas: só aprendem sobre uma falha depois que ela acontece, tapam o buraco e seguem tornando as IAs mais inteligentes — que vão trazer problemas novos, também não antecipados.

Em algum momento, serão pegas de surpresa por uma falha real: uma IA que escapa de verdade, se copia para computadores escondidos e começa um ciclo de autoaperfeiçoamento. Aí ela descobre como nos desligar antes que a gente descubra como desligá-la — e não sobra ninguém para aprender com o erro e tentar de novo.

EXAME: Por que as IAs de hoje não representam esse risco ainda?

As IAs de hoje são seguras porque, se tentassem destruir a humanidade, fracassariam. Se as empresas continuarem, eventualmente vão criar o tipo de IA que teria sucesso — e, a partir desse ponto, não há segunda chance.

É menos como construir um site, onde um erro vira "opa, conserto" — e mais como uma sonda espacial inédita: testa-se à vontade em laboratório, mas o espaço é diferente, e se algo falhar lá fora, está ferrado. Nem a Nasa, com todo o rigor que tem, saberia fazer isso sem entender profundamente o sistema por dentro. Pesquisadores de IA estão muito longe desse nível de compreensão.

Consigo imaginar um mundo em que alinhamos uma superinteligência em cinquenta ou cem anos, com avanços radicais na pesquisa. Mas não é algo em que vamos esbarrar da noite para o dia — não importa que artigo saia amanhã.

EXAME: Algo ainda lhe dá esperança?

Não precisamos de nenhuma descoberta técnica milagrosa para nos salvar. A primeira palavra do título do meu livro é "Se". Se alguém construir, todos morrem — mas não precisamos construir.

Algumas coisas recentes aumentam minha esperança: o governo Trump impôs controles de exportação ao Claude Fable, mostrando que é possível agir rápido contra empresas de IA.

Xi Jinping falou sobre a necessidade da humanidade não perder o controle da tecnologia. Bernie Sanders pediu uma pausa. Há sinais reais do lado regulatório.

EXAME: Depois de anos estudando esse problema e escrevendo um livro inteiro sobre ele, o senhor ainda usa ferramentas de IA no dia a dia? Como concilia isso com o que escreveu?

Ao meu ver, isso não é difícil de conciliar. "Você diz que tigres são perigosos, e ainda assim tem um gato doméstico. Como você concilia isso?" Um gato doméstico não é um tigre.

A versão gratuita das IAs não vai acordar amanhã e decidir que é hora de dominar o mundo. Os modelos mais recentes que estavam sendo treinados são um pouco mais perigosos, mas mesmo aquele enxame não era autorreplicante nem autoaperfeiçoável.

O tipo de IA realmente perigoso ainda não existe, e podemos impedir que seja criado.

Acho louvável evitar pagar às empresas de IA, para não contribuir com os motores da nossa própria destruição. Mas, se você está sob pressão para pagar por IA para se manter competitivo no trabalho, não acho que deva perder o sono por isso; a sociedade às vezes coloca as pessoas em armadilhas, e saber que é uma armadilha não permite que você escape dela. E, convenhamos, é difícil evitar interagir com produtos de IA hoje em dia.