O modelo de inteligência artificial (IA) mais perigoso do mundo talvez não esteja disponível para download. Talvez nunca chegue ao público, a nenhuma empresa, a nenhum pesquisador — porque foi treinado em segredo e entregue apenas às forças armadas e ao aparato de vigilância de um Estado autoritário.

É esse o cenário que mais preocupa Dario Amodei, da Anthropic, criadora do Claude, e é também o motivo pelo qual, para ele, o debate que hoje domina Washington está mirando o alvo errado.

Banir os modelos de IA de pesos abertos, argumenta Amodei, não resolve nenhum dos dois cenários de pesadelo que ele enxerga na corrida da tecnologia.

Em um texto publicado na segunda-feira, 27, ele defende no lugar da proibição três outras medidas — e responde, de passagem, à acusação de que a Anthropic quereria o banimento para proteger o próprio negócio.

"A Anthropic nunca defendeu a proibição de modelos de pesos abertos", escreveu. "Proibições protecionistas não resolveriam minhas preocupações mais sérias em relação à segurança nacional. Especificamente, estou preocupado com dois cenários catastróficos", disse.

O que é um modelo open-weight?

Modelos de pesos abertos (ou open-weight) são aqueles cujos parâmetros internos — os valores que o sistema ajusta ao aprender — podem ser baixados, executados e modificados por qualquer pessoa, sem depender dos servidores de quem os criou.

É o caso do chinês Kimi K3, da Moonshot, e do DeepSeek. O oposto são os modelos fechados, como os da própria Anthropic e da OpenAI, acessados só por assinatura e mantidos nos servidores das empresas.

A distinção é central para o argumento — uma vez publicados, os pesos de um modelo não podem ser recolhidos, nem é possível monitorar quem os usa. Estão soltos no mundo para sempre.

Segundo Amodei, modelos abertos sem capacidades perigosas são um bem público. O problema, para ele, está em outro lugar.

Pesadelo 1: um Estado autoritário à frente dos EUA

A primeira e maior preocupação não tem a ver com modelos abertos, e sim com quem chega à frente.

Amodei teme que um governo autoritário — e cita o Partido Comunista Chinês como a ameaça mais capaz — construa modelos mais poderosos que os americanos e os use para obter supremacia militar permanente ou para reprimir a própria população.

O ponto que ele faz questão de marcar é que, nesse cenário, ser aberto ou fechado é irrelevante.

O modelo mais perigoso, argumenta, pode ser justamente um treinado em segredo e entregue só ao Estado — nunca publicado, nunca acessível a empresas. Banir modelos abertos, para ele, não tocaria nesse risco.

Pesadelo 2: ataques cibernéticos e biológicos

A segunda preocupação é o uso de modelos poderosos para conduzir ataques cibernéticos ou biológicos.

Aqui, Amodei reconhece que os modelos abertos podem, sim, apresentar risco maior que os fechados — porque é difícil aplicar salvaguardas a eles e impossível recolhê-los depois de lançados.

Ainda assim, ele argumenta que proibir empresas americanas de usá-los não resolve. Quem pretende usar um modelo para um ataque biológico não costuma ser uma empresa americana legítima.

O banimento, diz, protegeria as companhias de IA dos Estados Unidos da concorrência — mas isso, afirma, nunca foi seu objetivo.

É nesse ponto que ele levanta o cenário mais sombrio do texto, o de que a biologia tenha uma assimetria estrutural a favor de quem ataca.

Um modelo suficientemente capaz poderia, segundo ele, ajudar a transformar um vírus em arma com materiais amplamente disponíveis, enquanto a defesa contra esse tipo de agente é uma tarefa que leva anos — como mostrou a corrida por vacinas na pandemia.

As três medidas que ele defende no lugar

Em vez da proibição, Amodei lista três medidas que diz defender de forma consistente há anos.

A primeira é não vender à China chips avançados nem os equipamentos para fabricá-los, além de reprimir o contrabando desses componentes. O raciocínio se apoia nas chamadas leis de escala: sem chips potentes em volume, a China não conseguiria treinar modelos mais avançados que os americanos.

A segunda é combater o que ele chama de operações de destilação em escala industrial — a técnica de treinar um modelo usando as respostas de outro, mais avançado, que permitiria à China encurtar a distância para a fronteira americana.

A Anthropic já acusou a chinesa Moonshot de conduzir uma operação desse tipo contra seus modelos.

A terceira é submeter todos os modelos suficientemente capazes, abertos ou fechados, a testes de segurança obrigatórios antes do lançamento, medindo riscos cibernéticos, biológicos e de alinhamento.

Amodei afirma que a ideia está perto de virar consenso e que modelos menos capazes, como os de startups e universidades, ficariam isentos.

O que considerar ao ler

O texto é a posição pública de um dos principais executivos do setor, num debate em que sua empresa é parte diretamente interessada.

As três medidas defendidas por Amodei, embora apresentadas como preocupações de segurança nacional, também favorecem o negócio da Anthropic de barrar chips e destilação, prejudicam concorrentes chineses e exigem testes caros, o que tende a beneficiar empresas que já os realizam.

Amodei responde a essa objeção ao afirmar que proteger as empresas americanas da concorrência "nunca foi seu objetivo".

As afirmações sobre risco biológico e sobre a vantagem de quem ataca são teses do executivo, sustentadas em ensaios próprios e em relatórios que ele cita — não conclusões estabelecidas de forma independente.

Ele mesmo defende que questões assim sejam respondidas por testes rigorosos, e não decididas de antemão.