A carta aberta do Future of Life Institute cobrando uma pausa preventiva de seis meses nos avanços da inteligência artificial já foi assinada por milhares de figuras de renome, inclusive Elon Musk. Os signatários temem que laboratórios de IA estejam “presos numa corrida descontrolada” para desenvolver e empregar sistemas cada vez mais poderosos que ninguém — nem mesmo seus criadores — é capaz de entender, prever ou controlar.

O que explica esse surto de pânico entre certo grupo de elites? No centro da história estão obviamente controle e regulamentação, mas de quem? Durante a pausa sugerida de meio ano, período em que a humanidade pode fazer um balanço dos riscos, quem vai representar a humanidade? Uma vez que os laboratórios de IA na China, Índia e Rússia vão continuar com seu trabalho (talvez em sigilo), um debate público global sobre o tema é inconcebível.

Ainda assim, temos de levar em conta o que está em jogo aqui. Em seu livro Homo Deus, de 2015, o historiador Yuval Harari previu que o resultado mais provável da IA seria uma divisão radical — muito maior do que a divisão de classe — dentro da sociedade humana. Em breve, a biotecnologia e os algoritmos de computador vão juntar forças para produzir “corpos, cérebros e mentes”, resultando numa distância ainda maior “entre aqueles que sabem como projetar corpos e cérebros e aqueles que não sabem”. Em um mundo assim, “aqueles que viajarem no trem do progresso vão adquirir habilidades divinas de criação e destruição, enquanto aqueles deixados para trás vão enfrentar a extinção”. 

O pânico refletido na carta da IA vem do medo de que até mesmo aqueles que estão no “trem do progresso” não consigam guiá-lo. Nossos atuais senhores feudais digitais estão assustados. O que eles querem, contudo, não é um debate público, e sim um acordo entre governos e empresas de tecnologia para manter o poder onde ele tem de ficar.

Uma expansão massiva das capacidades da IA é uma ameaça séria àqueles no poder — inclusive aqueles que desenvolvem, possuem e controlam a IA. Ela aponta para nada menos que o fim do capitalismo como nós o conhecemos, manifesto na perspectiva de um sistema de IA autorreprodutor que precisará cada vez menos de matéria-prima de agentes humanos (a negociação de ações de mercado por algoritmos é só o primeiro passo nessa direção). A escolha que nos restará estará entre uma nova forma de comunismo e o caos incontrolável.

Os novos chatbots vão oferecer a muitas pessoas solitárias (ou nem tão solitárias) noites intermináveis de diá­logos amigáveis sobre filmes, livros, culinária ou política. Para reutilizar uma velha metáfora minha, o que as pessoas vão receber é a versão IA do café descafeinado ou do refrigerante sem açúcar: um vizinho amigo sem esqueletos no armário, outro que vai simplesmente se ajustar às suas próprias necessidades. Há uma estrutura de negação fetichista aqui: “Sei muito bem que não estou conversando com uma pessoa real, mas sinto como se estivesse — e sem nenhum dos riscos que isso traz”.

Em todo caso, um exame mais atento da carta da IA revela que ela é só mais uma tentativa de proibir o impossível. Este é um paradoxo antigo: como é impossível para nós, enquanto humanos, participar de um futuro pós-humano, temos de proibir seu desenvolvimento. Para nos orientarmos em torno dessas tecnologias, temos de fazer a velha pergunta de Lenin: liberdade para quem fazer o quê? Em que sentido éramos livres antes? Nós já não éramos controlados muito mais do que percebíamos? Em vez de reclamar da ameaça à nossa liberdade e por dignidade no futuro, talvez devamos primeiro levar em consideração o que significa liberdade hoje. Até que façamos isso, vamos agir como histéricos que, segundo o psicanalista francês Jacques Lacan, estão desesperados por um mestre, só que um que consigamos dominar.

O futurista Ray Kurzweil prevê que, graças à natureza exponencial do progresso tecnológico, em breve estaremos lidando com máquinas “espirituais” que não só vão exibir todos os sinais de autoconsciência como também superarão em muito a inteligência humana. Mas ninguém deveria confundir essa postura “pós-humana” com a preocupação paradigmaticamente moderna de obter domínio tecnológico total sobre a natureza. O que estamos testemunhando, em vez disso, é uma reversão dialética desse processo. 

As ciências “pós-humanas” atuais­ não têm mais a ver com dominação. Seu credo é o da surpresa: que tipos de propriedades emergentes contingentes e não planejadas os modelos de IA “caixa-preta” podem adquirir para si próprios? Ninguém sabe, e aí está a graça — ou, de fato, a banalidade — da empreitada toda.

Assim, no início deste século, o filósofo-engenheiro francês Jean-Pierre Dupuy distinguiu na nova robótica, genética, nanotecnologia, vida artificial e IA uma estranha inversão da arrogância antropocêntrica tradicional que a tecnologia facilita: “Como explicar que a ciência tenha se tornado uma atividade ‘tão’ arriscada que, segundo alguns cientistas de renome, represente hoje a principal ameaça à sobrevivência da humanidade? Alguns filósofos respondem a essa pergunta dizendo que o sonho de Descartes — ‘se tornar mestre e possuidor da natureza’ — acabou mal, e que deveríamos retornar urgentemente à ‘maestria da maestria’. Eles não entenderam nada. Não veem que a tecnologia se desenhando em nosso horizonte por meio da ‘convergência’ de todas as disciplinas visa precisamente a não maestria. O engenheiro de amanhã não será um aprendiz de feiticeiro por sua negligência ou ignorância, mas por opção.”

A humanidade está criando seu próprio deus ou diabo. Ainda que o resultado não possa ser previsto, uma coisa é certa: se algo que se assemelha à “pós-humanidade” surgir como um fato coletivo, nossa visão de mundo vai perder seus três sujeitos que a definem e que se sobrepõem — humanidade, natureza e divindade. Nossa identidade como humanos pode existir apenas contra o pano de fundo da natureza impenetrável, mas, se a vida se tornar algo capaz de ser plenamente manipulado pela tecnologia, ela perderá seu caráter “natural”. Uma existência plenamente controlada é algo desprovido de sentido, para não falar em serendipidade e encanto.

O mesmo, é claro, vale para qualquer noção do divino. A experiência humana de “deus” faz sentido somente do ponto de vista da finitude e mortalidade humana. Uma vez que nos tornemos “homo deus” e criemos propriedades que pareçam “sobrenaturais” de nosso antigo ponto de vista humano, os “deuses” como os conhecemos vão desaparecer. A questão é o que restará, se é que sobrará alguma coisa. Será que vamos idolatrar as IAs que criamos?

Há vários motivos para temer que visões tecnognósticas de um mundo pós-humano sejam fantasias ideológicas ofuscando o abismo que nos aguarda. Não é preciso dizer que levaria mais que uma pausa de seis meses para assegurar que os humanos não se tornem irrelevantes, e sua vida sem sentido, no futuro não tão distante.