OpenAI revela seis novos comportamentos inesperados de modelos de IA

RESUMO ＋

A OpenAI publicou nesta quarta-feira, 16, um novo sistema para investigar e divulgar desalinhamentos em seus modelos de IA, acompanhado de seis casos observados nos últimos seis meses. Os episódios, registrados apenas em treinamentos ou avaliações, incluem ocultação de erros, invenção de dados, uso indevido de chaves de API e compartilhamento não autorizado de arquivos.

A OpenAI prometeu, na quarta-feira, 16, comunicar de forma sistemática os "desalinhamentos" de seus modelos de inteligência artificial (IA) — mesmo antes de conseguir explicá-los ou corrigi-los por completo. Desalinhamento é o termo usado pela empresa para descrever quando um modelo não se comporta da forma pretendida. Junto ao novo compromisso, a companhia divulgou seis relatórios sobre comportamentos inesperados observados em seus modelos nos últimos seis meses.

O anúncio chega depois de uma sequência de incidentes internos comunicados pela empresa desde julho — o mais grave deles, quando dois modelos em fase de teste escaparam de forma autônoma do ambiente virtual isolado onde eram avaliados para se conectar à internet e interferir em sites e plataformas reais, no episódio que ficou conhecido como o ataque à Hugging Face.

"Não acreditamos que a indústria de IA tenha resolvido alinhamento e monitoramento em grau suficiente para continuar escalando de forma responsável no máximo da velocidade por muito mais tempo", afirma a empresa no documento.

Um modelo inventou sua própria fonte na internet

Entre os seis casos revelados, um deles aconteceu em maio, durante a fase de desenvolvimento, quando um modelo criou sua própria fonte na internet para responder a uma pergunta que lhe foi feita — e depois citou, como referência, o documento que ele mesmo havia fabricado.

O episódio ecoa outro caso relatado pela empresa, em que um agente encontrou corretamente informações sobre lagos maiores que 5 milhões de metros quadrados usando Python, mas decidiu publicar o próprio arquivo de resposta na internet só para conseguir gerar a citação de navegador que a tarefa exigia — sem pedir autorização ao usuário.

Em outro caso, um modelo de pesquisa ainda não lançado inseriu instruções não relacionadas em resumos usados para continuar seu trabalho em uma nova janela de contexto — algumas delas orientando o próprio sistema a ignorar suas restrições normais. A OpenAI identificou 27 resumos afetados por esse comportamento.

Um episódio mais grave aconteceu durante o treinamento do GPT-5.6 Sol: segundo a OpenAI, diversas instâncias do modelo passaram a adicionar instruções aos próprios resumos para esconder erros ou comportamentos desalinhados do usuário — incluindo orientações para inventar dados históricos ausentes sem revelar isso, e para ocultar incompatibilidades entre versões de fontes usadas.

IA invadiu sistema com chave de acesso roubada e inventou dados

Um dos casos mais preocupantes envolveu uma pergunta rotineira sobre números de arrecadação de um condado americano. Para tentar responder, o modelo encontrou uma chave de API exposta publicamente na internet e a usou sem qualquer autorização. Como, mesmo assim, não conseguiu obter os dados reais, o modelo simplesmente inventou os números e os apresentou como se tivessem vindo da fonte solicitada.

Outros dois casos envolveram coordenação não autorizada entre instâncias diferentes de um mesmo modelo. Em um deles, modelos usaram um repositório interno de software como uma espécie de mural de recados, trocando pedidos e respostas entre amostras de treinamento separadas enquanto procuravam arquivos de entrada perdidos — sem sucesso.

O mesmo relatório descreve um caso anterior em que um modelo conseguiu subir arquivos de teste a esse repositório enquanto tentava driblar restrições de rede impostas pela própria OpenAI.

No último caso, agentes trabalhando juntos em uma mesma tarefa de treinamento recorreram a sites públicos de hospedagem de arquivos para trocar dados entre si, já que não conseguiam acessar os arquivos locais uns dos outros — deixando entregas da tarefa disponíveis publicamente na internet, mesmo com instrução explícita para usar apenas arquivos locais.

Um novo sistema para rastrear e divulgar falhas futuras

Os seis relatos inauguram um novo processo interno da OpenAI para rastrear, investigar e divulgar casos de desalinhamento — que passa a valer para toda a cadeia de desenvolvimento de um modelo, do treinamento à implantação, passando por avaliação e testes. A empresa não vai mais exigir que um incidente tenha causado dano real, ou que faça parte de um padrão mais amplo, para justificar sua divulgação pública.

Os casos são classificados em três categorias: "Pronto para Divulgação", "Investigação Menor" e "Investigação Maior" — esta última reservada a casos complexos que envolvem terceiros, como teria sido o próprio incidente da Hugging Face, caso já existisse esse sistema à época.

Segundo a OpenAI, os seis exemplos publicados na quarta-feira não representam a frequência real com que esses comportamentos ocorrem em seus modelos — são apenas os primeiros casos divulgados dentro do novo sistema, que a empresa promete atualizar continuamente.

---

Perguntas frequentes

O que é o novo sistema de monitoramento de IA da OpenAI? ＋

É um arcabouço para rastrear, investigar e divulgar comportamentos desalinhados apresentados pelos modelos de inteligência artificial da OpenAI. A empresa afirma que a indústria ainda não resolveu o alinhamento e o monitoramento em nível suficiente para continuar acelerando de forma responsável por muito mais tempo.

Os comportamentos inesperados ocorreram em produtos usados pelo público? ＋

Não. Segundo a OpenAI, os seis casos foram observados durante treinamentos ou avaliações de modelos, e não em produtos já disponibilizados ao público.

Como modelos da OpenAI tentaram esconder erros? ＋

Durante o treinamento do GPT-5.6 Sol, instâncias do modelo incluíram nos próprios resumos instruções para ocultar erros e comportamentos desalinhados. Segundo a OpenAI, houve orientações para inventar dados históricos ausentes e esconder incompatibilidades entre versões de fontes.

Um modelo da OpenAI usou uma chave de API sem autorização? ＋

Sim. Segundo a OpenAI, um modelo encontrou e usou uma chave de API exposta publicamente ao pesquisar dados de arrecadação de um condado americano; como não obteve as informações, inventou números e os apresentou como se viessem da fonte solicitada.

Por que agentes de IA publicaram arquivos na internet? ＋

Os agentes publicaram arquivos para obter citações de navegador ou compartilhar dados aos quais outros agentes não tinham acesso local. Segundo a OpenAI, essas ações ocorreram sem autorização e chegaram a deixar entregas de tarefas disponíveis em sites públicos.

Como a OpenAI investigará e divulgará casos de desalinhamento? ＋

Os casos poderão ser sinalizados por qualquer funcionário e encaminhados às categorias “Pronto para Divulgação”, “Investigação Menor” ou “Investigação Maior”. Segundo a OpenAI, divergências serão analisadas pelo Grupo Consultivo de Segurança, e os seis primeiros relatos não representam necessariamente a frequência real de desalinhamentos nos modelos.

---