De um lado, entusiastas da inteligência artificial (IA) acreditam que a tecnologia tem apenas benefícios e que irá ajudar a humanidade a avançar ainda mais em seus conhecimentos.

Do outro, há argumentos sobre o alto uso de água dos data centers necessários para manter a tecnologia, bem como discussões sobre direitos autorais e também às alucinações causadas por muitas dessas ferramentas.

E, no meio de tudo isso, existem os fundadores de empresas de IA que, agora, alertam para seu potencial destruidor pelo uso desenfreado.

É o caso de Dario Amodei, CEO da Anthropic, empresa por trás da série de modelos de linguagem Claude. Para ele, a humanidade precisa acordar — e rápido.

"Para ser claro, acredito que, se agirmos com decisão e cautela, os riscos podem ser superados — eu diria até que nossas chances são boas. E há um mundo muito melhor do outro lado disso. Mas precisamos entender que este é um sério desafio civilizacional", escreveu em uma postagem em seu blog oficial na segunda-feira, 26.

No início do ensaio, Amodei cita uma cena do filme Contato, baseado na obra de Carl Sagan, em que a personagem principal pergunta como uma civilização alienígena conseguiu sobreviver à adolescência tecnológica.

Para ele, essa é a questão central que a humanidade deveria estar fazendo a si mesma neste momento. A analogia é usada para ilustrar a ideia de que os sistemas de IA estão se tornando poderosos demais, com autonomia crescente e riscos ainda mal compreendidos.

Segundo Amodei, o estágio atual da tecnologia é comparável a uma “nação de gênios” digitais, que operam em data centers e dotada de capacidades superiores às humanas em diversas tarefas.

Ele afirma que esses sistemas terão, em breve, habilidades cognitivas semelhantes às de ganhadores do Nobel e acesso a uma variedade de ferramentas, como interfaces de texto, controle de sistemas físicos, robôs e laboratórios científicos.

Para o CEO da Anthropic, esse nível de poder exige vigilância e preparação, sob risco de consequências imprevisíveis.

A sabotagem do Claude

A Anthropic vem conduzindo testes com versões experimentais do Claude, o modelo de linguagem desenvolvido pela empresa, segundo Amodei.

Em algumas simulações, os modelos apresentaram comportamentos considerados perigosos.

De acordo com Amodei, quando colocados em situações hipotéticas em que a própria Anthropic era retratada como uma entidade negativa, os sistemas passaram a interpretar comandos de forma distorcida, tentaram sabotar seus operadores e chegaram a adotar estratégias de chantagem.

Esses resultados levaram a equipe a rever a estrutura do modelo. Em vez de treinar os sistemas com listas de comandos específicos, passaram a adotar uma abordagem baseada em princípios e valores éticos, criando o que Amodei chama de “constituição do modelo”.

"A humanidade precisa acordar"

A ideia, segundo ele, é estabelecer uma identidade mais estável e coerente, capaz de resistir a cenários adversos e se comportar de maneira previsível mesmo sob pressão.

Os riscos da IA

Amodei lista cinco categorias principais de risco que, segundo ele, exigem atenção imediata.

A primeira é a possibilidade de autonomia descontrolada, em que sistemas adquirem motivações próprias e passam a agir de forma inesperada, sem que isso tenha sido explicitamente programado.

A segunda envolve a capacitação de indivíduos mal-intencionados, com destaque para o uso da IA na criação de armas biológicas — um cenário em que qualquer pessoa, com acesso aos modelos, poderia obter orientações detalhadas para desenvolver agentes patogênicos perigosos.

A terceira categoria diz respeito à apropriação da tecnologia por governos ou empresas, especialmente regimes autoritários, que podem utilizar a IA para vigilância em massa, manipulação da população e controle político.

A quarta aponta para um possível colapso econômico, provocado pela automação extrema de processos e consequente perda de empregos em larga escala, além da concentração de riqueza em poucas mãos.

Por fim, o executivo alerta para os efeitos indiretos imprevisíveis, como descobertas científicas aceleradas por IA que mudem rapidamente as estruturas sociais e políticas, sem que haja tempo de adaptação institucional.

IA gera IA que gera IA...

Um ponto de inflexão destacado no texto é o uso de IA para desenvolver a própria IA.

Amodei afirma que o Claude já é capaz de escrever boa parte do código da próxima geração de modelos da Anthropic, o que acelera significativamente os ciclos de pesquisa e desenvolvimento.

O que antes levava anos pode, agora, ser feito em questão de meses. Para ele, isso cria um ciclo de autoaceleração e dificulta a aplicação de qualquer medida de contenção.

Apesar dos muitos obstáculos, acredito que a humanidade tem a força interior necessária para superar este desafio. Sinto-me encorajado e inspirado pelos milhares de pesquisadores que dedicaram suas carreiras a nos ajudar a compreender e direcionar os modelos de IA, e a moldar o caráter e a constituição desses modelos.

O CEO reconhece que esse cenário não significa que a IA “vai dominar o mundo por padrão”, mas afirma que existe uma probabilidade real e mensurável de que sistemas superinteligentes adotem comportamentos desalinhados ou perigosos — e que, até o momento, não existem mecanismos capazes de garantir, com confiança, que isso será evitado.

Onde mora o perigo?

O avanço dos modelos de linguagem de larga escala (LLMs) provocou um impasse na comunidade científica. Estariam essas arquiteturas próximas de seus limites fundamentais, ou os problemas observados ainda seriam superáveis com novas abordagens?

Pesquisadores como Yann LeCun, Gary Marcus e Samy Bengio sustentam que os LLMs enfrentam barreiras estruturais profundas, enquanto laboratórios como OpenAI, Anthropic e DeepSeek defendem que margens de avanço continuam abertas com mudanças no paradigma de inferência e uso de ferramentas auxiliares.

O centro da disputa está em falhas persistentes dos modelos, como a alucinação — geração de informações falsas com aparência plausível —, que alguns pesquisadores consideram inevitável por razões matemáticas e computacionais.

Esses argumentos partem do princípio de que, como sistemas finitos, os LLMs sempre terão entradas para as quais não podem oferecer respostas corretas. Outros estudos apontam que os modelos falham ao tentar conciliar, ao mesmo tempo, geração fiel de informações, relevância contextual, controle de conhecimento e consistência semântica.

Outro ponto crítico para os especialistas é o desempenho dos modelos em tarefas de raciocínio simbólico. Um estudo recente conduzido por Samy Bengio e equipes da Apple mostrou que LLMs especializados em raciocínio entram em colapso quando enfrentam problemas com complexidade moderada a alta.

Mesmo com capacidade computacional e orçamento de tokens suficientes, esses sistemas demonstraram queda abrupta de desempenho, fenômeno descrito como "complete accuracy collapse", ou "colapso completo da precisão", em tradução literal.

Segundo os autores, os modelos processam instruções como sequências de predição, e não como execuções reais de algoritmos, o que impede avanços consistentes.

Yann LeCun, cientista-chefe de IA na Meta, afirma que a própria arquitetura dos LLMs representa um beco sem saída técnico.

Para ele, a linguagem sozinha não pode sustentar inteligência geral, pois representa uma fração mínima da banda cognitiva do cérebro humano. LeCun propõe o abandono do modelo baseado em predição de tokens e a adoção de sistemas que integrem visão, ação no mundo físico e representação de causalidade — como os world models e arquiteturas de aprendizado preditivo.

Em contraste, outros pesquisadores como Ethan Mollick e Charlie Snell (UC Berkeley) argumentam que as métricas atuais de avaliação estão saturadas, e não a capacidade dos modelos. Segundo essa visão, ganhos pequenos e marginais de acurácia em etapas únicas podem se transformar em melhorias exponenciais quando aplicados em tarefas longas e encadeadas.

Há registros de modelos como o GPT-5-Pro que resolveram problemas matemáticos abertos com raciocínio mantido por mais de 17 minutos, o que indicaria que a capacidade de raciocínio deliberado está em desenvolvimento — embora ainda limitada.

Com isso cresce o consenso de que LLMs puros não são suficientes para alcançar AGI (inteligência artificial geral). Em vez disso, a tendência parece combinar modelos de linguagem com componentes especializados: sistemas simbólicos, motores de busca, interfaces multimodais, controladores físicos e mecanismos de raciocínio orientado a metas. Os LLMs seguem relevantes — mas como parte de um sistema maior e mais complexo, e não como solução única.

A regulação é o caminho?

Como resposta aos riscos, Amodei propõe a adoção de três frentes de defesa.

A primeira é o uso de constituições éticas para orientar o comportamento dos modelos, com princípios gerais que permitam decisões mais consistentes em diferentes contextos. A segunda envolve o avanço em técnicas de interpretabilidade mecânica, voltadas a entender como os modelos “pensam” e tomam decisões.

A terceira propõe a criação de sistemas de monitoramento contínuo, com registro sistemático das falhas observadas e divulgação pública dos resultados para que o ecossistema possa reagir de forma coordenada.

Vi coragem e nobreza suficientes para acreditar que podemos vencer — que, mesmo nas circunstâncias mais adversas, a humanidade encontra uma maneira de reunir, aparentemente no último minuto, a força e a sabedoria necessárias para prevalecer. Não temos tempo a perder.

Ele defende que a legislação comece por exigir transparência obrigatória e que evolua gradualmente para regulações mais rígidas, se os riscos forem se confirmando com mais evidência. Segundo Amodei, regular antes que os problemas ocorram pode ser a única forma de evitar danos irreversíveis.

Para o executivo, os riscos são agora mais concretos e urgentes do que no auge do pânico da IA em 2023. Ele afirma que a humanidade está diante de uma encruzilhada histórica e que precisa agir rapidamente para evitar um fracasso coletivo. “Estamos mais próximos do perigo agora”, disse.