Fim da humanidade? Alerta sobre efeitos da IA impulsiona vendas de livros há duas décadas

RESUMO | O debate sobre o risco de extinção da humanidade pela inteligência artificial ganhou força nesta semana, após um pesquisador deixar a Anthropic e afirmar que a empresa “aposta com as nossas vidas” na corrida pela superinteligência. Livros de James Barrat, Nick Bostrom, Yuval Noah Harari, Eliezer Yudkowsky e Nate Soares discutem esse risco desde os anos 2000, embora especialistas contestem sua urgência.

---

Há tempos os possíveis riscos do desenvolvimento de uma superinteligência — a inteligência artificial (IA) capaz de ultrapassar o cérebro humano — pairam sobre a sociedade.

As previsões, que já têm mais de duas décadas, ganharam força na madrugada de quarta-feira, 9, quando um pesquisador de pré-treinamento pediu demissão da Anthropic, dona do Claude, alertou que a empresa "aposta com as vidas" humanas na corrida por superinteligência, e um cientista da mesma empresa confirmou publicamente acreditar em mais de 10% de risco de a IA matar toda a humanidade em uma década.

Mas o argumento de que sistemas de IA avançados poderiam se tornar incontroláveis e catastróficos para a espécie humana não nasceu com o Claude, nem com o ChatGPT — e está registrado em livros que remontam ao início dos anos 2000, quando "inteligência artificial" ainda soava a ficção científica para a maior parte do público.

A origem dessa linha de pensamento remonta ao ano 2000, quando Eliezer Yudkowsky cofundou o que viria a se tornar o Machine Intelligence Research Institute (MIRI), uma organização de pesquisa sem fins lucrativos focada em estudar os riscos existenciais da superinteligência.

O objetivo original da organização era o oposto do que se tornaria depois: acelerar a criação de uma superinteligência artificial, não freá-la.

Em 2001, Yudkowsky publicou seu primeiro arcabouço teórico, batizado de "IA Amigável" (Friendly AI), tentando resolver, do ponto de vista técnico, como garantir que uma máquina supersinteligente permanecesse alinhada aos interesses humanos mesmo depois de superar em muito a inteligência de seus criadores.

Foi só ao longo da década seguinte que a organização mudou radicalmente de rumo — de tentar construir a superinteligência primeiro, de forma segura, para tentar convencer o mundo a não construí-la de jeito nenhum antes que o problema técnico estivesse resolvido. Essa guinada de duas décadas é, hoje, a espinha dorsal de todo o argumento que o MIRI defende publicamente.

2013: o jornalista que soou o alarme

Antes mesmo do tratamento acadêmico mais influente do tema, o jornalista James Barrat já havia publicado "Our Final Invention" (2013), quando ChatGPT, Gemini e Claude ainda não haviam saído dos laboratórios e a IA generativa não fazia parte do vocabulário popular.

Barrat cunhou o conceito de "explosão de inteligência" — o momento hipotético em que uma IA se tornaria capaz de aprimorar a si mesma repetidamente, em ciclos cada vez mais rápidos, até superar de forma irreversível a inteligência humana coletiva.

Passados 12 anos, ele voltou ao tema com "The Intelligence Explosion: When AI Beats Humans at Everything" (2025), atualizando o argumento original à luz do que considerou confirmação prática de sua tese: o avanço real e acelerado da IA generativa desde o lançamento público do ChatGPT, em novembro de 2022.

2014: Bostrom formaliza o argumento acadêmico

Foi o filósofo de Oxford Nick Bostrom quem, em 2014, deu ao tema seu tratamento acadêmico mais influente e mais citado até hoje, com o livro "Superinteligência: Caminhos, Perigos, Estratégias".

Bostrom argumentou que uma IA suficientemente avançada representa um risco existencial em potencial para toda a humanidade e defendeu publicamente que seu desenvolvimento deveria ser fortemente regulado — inclusive restrito a um pequeno grupo de pesquisadores previamente aprovados por governos, uma proposta considerada radical até mesmo dentro do próprio campo acadêmico de segurança de IA.

O livro também popularizou o que ficou conhecido como "Tese da Ortogonalidade" — a ideia de que inteligência e objetivos são variáveis completamente independentes entre si, ou seja, uma máquina poderia ser um bilhão de vezes mais inteligente que qualquer ser humano e, ainda assim, ter como único propósito de vida maximizar a produção de clipes de papel.

É o famoso exemplo hipotético que Bostrom já havia introduzido em um artigo acadêmico de 2003, e que se tornou uma espécie de atalho popular para explicar por que inteligência avançada não implica, automaticamente, valores compatíveis com os humanos.

2015: Harari e a história em vez da engenharia

Uma abordagem diferente das anteriores — mais histórica e filosófica do que técnica — veio do historiador israelense Yuval Noah Harari, em "Homo Deus: Uma Breve História do Amanhã" (2015).

Em vez de partir de cenários de engenharia de sistemas ou de argumentos formais sobre alinhamento, Harari situou o risco da IA dentro de uma trajetória mais ampla da história humana.

Depois de superar fome, guerra e doença, argumentou o autor, a humanidade passaria a perseguir a imortalidade, a felicidade artificial e a divindade — e é justamente nessa busca que a IA e a biotecnologia poderiam tornar boa parte da espécie humana economicamente irrelevante, ou mesmo substituível por completo.

Diferentemente de Bostrom, Yudkowsky e Soares, Harari não descreve um cenário de extinção repentina causada por uma máquina hostil ou indiferente.

Seu alerta é mais gradual e envolve uma humanidade que perde relevância aos poucos, à medida que algoritmos passam a tomar decisões melhores do que humanos em praticamente todas as áreas da vida — do mercado de trabalho às escolhas afetivas —, esvaziando o sentido da agência humana muito antes de qualquer catástrofe repentina.

"Homo Deus" se tornou best-seller internacional e ajudou a popularizar, para um público bem mais amplo do que o de Bostrom ou Yudkowsky, a ideia de que a IA representa uma ruptura civilizacional, não apenas mais uma tecnologia disruptiva.

2025: o livro que abandona a esperança na solução técnica

A obra mais recente e comercialmente bem-sucedida dessa linhagem inteira é "Se Alguém Construir, Todos Morrem", de Yudkowsky e Nate Soares, publicada em setembro de 2025. O livro se tornou best-seller instantâneo do New York Times, e figurou entre os melhores livros do ano segundo o The New Yorker e o The Guardian — um alcance de público muito maior do que qualquer título anterior sobre o tema.

A diferença central em relação a Bostrom não é o argumento em si, mas o tom de resignação por trás dele.

Enquanto Bostrom tratava o risco como possibilidade teórica ainda mitigável por meio de regulação cuidadosa, Yudkowsky e Soares descrevem o próprio livro como o registro formal de uma desistência: depois de mais de duas décadas tentando resolver tecnicamente o chamado "problema do alinhamento" — como fazer uma IA seguir intenções humanas mesmo ao se tornar muito mais inteligente que seus criadores —, os dois autores concluem que essa solução não vai chegar a tempo.

Em vez disso, passaram a defender abertamente uma pausa internacional, coordenada entre governos, na própria corrida para construir sistemas de superinteligência.

Em entrevista à EXAME em agosto, antes da atual onda de saídas e alertas dentro da Anthropic, Soares explicou o raciocínio por trás dessa virada de estratégia.

"A IA moderna é cultivada como um organismo; literalmente ninguém entende o que está acontecendo lá dentro, nem mesmo os criadores da IA. Essa é uma situação de pior caso possível para o alinhamento de IA", afirmou. "Se eu estiver certo, não haverá sobreviventes."

Segundo ele, mesmo o campo de pesquisa em segurança de IA, que cresceu bastante nos últimos anos, concentra-se majoritariamente em "interpretabilidade" (tentar entender o que acontece dentro de um modelo já treinado) e "avaliações" (tentar detectar se um modelo já é perigoso) — um tipo de trabalho que, na avaliação dele, "luta para nos trazer de volta à estaca zero", em vez de efetivamente resolver o problema de origem.

Foi essa combinação — ritmo de desenvolvimento mais rápido do que o previsto originalmente, e estagnação relativa da pesquisa técnica de segurança — que o levou, junto com Yudkowsky, a abandonar a aposta na solução de engenharia em favor de um apelo direto a governos e ao público em geral.

O contraponto: nem todo mundo compra a tese da urgência

Apesar de mais de duas décadas de livros defendendo essa tese, nem todos os especialistas do próprio campo de tecnologia concordam com o grau de urgência apocalíptica que ela carrega.

Em entrevista à EXAME nesta semana, Fabro Steibel, especialista em tecnologia e diretor do Instituto de Tecnologia e Sociedade (ITS Rio), classificou a visão de superinteligência iminente como "mais para ficção do que para realidade" — e apontou uma origem cultural específica por trás desse tipo de alarme, historicamente concentrado nos mesmos círculos que constroem a própria tecnologia.

"Essa visão de que vai acabar é muito Vale do Silício. Se você ver quem fala sobre ela, em geral são pessoas de uma idade parecida, de um background parecido, que estão olhando a IA muito de perto, porque estão produzindo ela", disse.

Steibel também questiona diretamente a base técnica que sustenta boa parte do argumento presente nesses livros — inclusive o próprio Bostrom, cuja tese de "explosão de inteligência" pressupõe um ritmo de avanço tecnológico cada vez mais acelerado e autoalimentado.

Segundo ele, esse ritmo já desacelerou em relação ao período mais rápido observado há dois ou três anos, e a suposição amplamente repetida de que "mais dados" levariam automaticamente a "mais capacidade" de raciocínio já se provou cientificamente equivocada.

Na visão dele, ainda falta "aquele pulo" que daria à máquina uma capacidade de decisão realmente autônoma — justamente o tipo de salto tecnológico que sustenta, desde Bostrom até Yudkowsky e Soares, mais de duas décadas de previsões sobre o fim da humanidade pela IA.