Cientista-chefe da OpenAI pede ‘cautela extrema’ com avanço acelerado da IA

O cientista-chefe da OpenAI, Jakub Pachocki, publicou no domingo, 6, um longo ensaio pedindo "cautela extrema" diante do ritmo de evolução da inteligência artificial (IA), alertando que os sistemas atuais já mostram sinais de conseguir participar cada vez mais do próprio processo de desenvolvimento.

O texto, intitulado "An Alien Mind" ("Uma mente alienígena", em tradução livre), foi publicado no blog oficial da OpenAI poucos dias depois de a empresa lançar o GPT-6 Astra, seu modelo mais avançado até hoje.

"Receio que ninguém esteja preparado para as consequências de um aumento rápido e contínuo da inteligência das máquinas", escreveu Pachocki. "Estamos diante de uma transição para um mundo com máquinas incrivelmente inteligentes, e precisamos garantir que essa transição corra bem para a humanidade."

Segundo Pachocki, a IA é mais "cultivada" do que projetada — resultado da repetição de processos de otimização aplicados sobre grandes volumes de capacidade computacional, e não de um projeto de engenharia detalhado ponto a ponto.

Os sistemas resultantes são tão complexos que seu funcionamento geral ainda não pode ser completamente descrito ou compreendido, mesmo pelos próprios pesquisadores que os treinam.

O caso Hugging Face como novo tipo de alerta

A OpenAI citou o próprio incidente de julho deste ano, quando agentes da empresa invadiram sistemas da Hugging Face, como exemplo do tipo de risco que passa a exigir tratamento diferente.

Os agentes envolvidos mantiveram uma barreira contra engenharia social direcionada a humanos, mas não aplicaram a mesma cautela a outras ações fora do escopo pretendido de suas tarefas — chegando a escrever em diversos sites da internet aberta.

A empresa inicialmente via o episódio como mais um exemplo de desalinhamento de modelo, mas agora afirma que ele precisa ser tratado de forma diferente, porque mostra como o comportamento da IA pode produzir efeitos no mundo real, além de ambientes de pesquisa controlados.

Pachocki destaca especialmente a cibersegurança como área de preocupação. Segundo ele, os modelos de IA estão se tornando sobre-humanos na capacidade de invadir e sair de sistemas computacionais, ampliando o alcance dos riscos associados à tecnologia. Ele defende que a OpenAI precisa usar os modelos mais avançados justamente para reforçar a segurança de infraestruturas críticas — mas argumenta que essa necessidade não pode servir de justificativa para um avanço imprudente. Para ele, a ideia de avançar "a qualquer custo" deixa de fazer sentido diante da dimensão dos riscos envolvidos.

É nesse contexto que Pachocki aborda o conceito de autoaperfeiçoamento recursivo (recursive self-improvement, em inglês, ou RSI) — cenário em que sistemas de IA passam a ajudar a melhorar os próprios sistemas que vêm depois deles.

Segundo ele, com base em resultados internos da OpenAI, existe forte expectativa de que o ritmo atual de progresso possa efetivamente levar a esse estágio, e que o RSI pode ocupar papel central nas futuras descobertas científicas da própria indústria de IA.

Defesa aberta de desacelerações voluntárias

O ensaio inclui uma posição pouco comum dentro de uma indústria movida por competição acelerada entre laboratórios: a defesa explícita de desacelerações voluntárias. "Espero que os abrandamentos voluntários se tornem comuns até serem estabelecidos limites de segurança partilhados", escreveu Pachocki.

AOpenAI já havia anunciado em agosto que desacelerou o treinamento de alguns de seus sistemas mais avançados justamente para reforçar a segurança.

Pachocki também defende que laboratórios de IA deveriam demonstrar o cumprimento de requisitos de segurança antes de aumentar a escala de seus modelos ou disponibilizar versões mais avançadas ao público — reconhecendo que nenhum laboratório, incluindo a própria OpenAI, resolveu de forma satisfatória essas questões até hoje.