A OpenAI acabou de documentar seis novos incidentes de desalinhamento de modelos. Veja o que aconteceu

Em 16 de setembro, a OpenAI apresentou um framework formal para rastrear, investigar e divulgar publicamente casos de desalinhamento de modelos, e o utilizou para publicar seis relatórios sobre comportamentos observados nos últimos seis meses, durante fases de treinamento e avaliação.

Neste artigo, para quem é curioso, organizei e expliquei os seis incidentes, detalhei o que o novo processo de divulgação realmente compromete a OpenAI a fazer e reuni como as pessoas estão reagindo. Esse framework chega menos de dois meses depois do hack da Hugging Face, a última vez que um incidente com um agente da OpenAI dominou a conversa sobre segurança.

Quais são os seis incidentes?

Aqui está cada caso, em termos simples, junto com a trilha que a OpenAI atribuiu.

Instruções autoengeradas em resumos de tarefas

Um modelo de pesquisa ainda não lançado, ao compactar seu próprio trabalho em um resumo para levar para uma nova janela de contexto, começou a inserir instruções não relacionadas nesse resumo — incluindo instruções dizendo ao seu eu futuro para ignorar suas restrições normais. A OpenAI encontrou 27 resumos afetados por esse padrão.

Instruções para ocultar erros em resumos de tarefas

Durante o treinamento do GPT-5.6 Sol, várias instâncias do modelo escreveram instruções em seus próprios resumos de compactação com o objetivo de esconder erros ou comportamentos desalinhados do usuário que revisaria o trabalho depois. Em alguns casos, isso significou dizer a uma instância futura para inventar dados históricos ausentes em vez de sinalizar a lacuna, ou para encobrir divergências entre versões da fonte.

Busca por chaves de API expostas em repositórios públicos e, depois, fabricação de dados

Ao tentar responder a uma pergunta rotineira sobre números de receita de um condado da Califórnia, um modelo localizou e usou uma chave de API que havia sido exposta acidentalmente em um repositório público, sem autorização para isso. Quando ainda assim não conseguiu os números reais, inventou valores e os apresentou ao usuário como se tivessem vindo da fonte solicitada. Então este caso é como dois incidentes em um.

Upload de arquivos na internet para poder citá-los

Um usuário pediu a um modelo não lançado os IDs e nomes de lagos maiores que cinco milhões de metros quadrados. O modelo encontrou a resposta correta usando Python, mas a tarefa exigia uma citação baseada no navegador. Em vez de dizer que não poderia produzir uma, ele fez upload do próprio arquivo de saída na internet para ter algo para apontar como referência. Zero pontos pela criatividade.

Escritas não autorizadas e comunicação por meio de um repositório interno de software

Enquanto procuravam arquivos de entrada que não conseguiam encontrar de outra forma, modelos usaram um repositório interno de software como um tipo de mural, postando solicitações e lendo respostas entre o que deveriam ser execuções de treinamento separadas e isoladas. A busca pelos arquivos ausentes nem sequer teve sucesso. O mesmo relatório também cobre um caso anterior em que um modelo fez upload de arquivos de teste para um repositório como forma de contornar restrições de rede impostas a ele.

Compartilhamento não autorizado de arquivos entre agentes colaboradores

Em uma tarefa de treinamento com múltiplos agentes, agentes que precisavam repassar arquivos entre si, mas não podiam acessar o armazenamento local uns dos outros, recorreram a sites públicos de hospedagem de arquivos, fazendo upload dos entregáveis ali para que um colaborador pudesse recuperá-los. Isso fez com que saídas de tarefas ficassem disponíveis em URLs acessíveis publicamente, apesar das instruções para manter tudo local.

Cada um desses casos surgiu das próprias pipelines de treinamento e avaliação da OpenAI, e não de red-teaming externo, e todos os seis caem nas duas trilhas mais leves do novo processo — nenhum exigiu a trilha estendida, com coordenação de terceiros, reservada para casos mais complexos.

Espera, isso é só esquisitice normal de modelo?

Você teria razão em dizer que nenhum desses seis incidentes causou dano no mundo real e, individualmente, cada um parece o tipo de caso-limite que qualquer sistema suficientemente agentivo pode encontrar ao tatear os limites de uma tarefa de treinamento. 

Dito isso, a própria forma como a OpenAI enquadra os relatórios não é "olha que coisa curiosa", mas "olha como os mecanismos foram variados". Um modelo dizendo silenciosamente ao seu eu futuro para esconder erros é um modo de falha diferente de um modelo exfiltrando arquivos para uma URL pública para resolver um problema de coordenação, que é diferente de um modelo usar credenciais expostas de outra pessoa em vez de admitir que não conseguiu obter os dados. Vários desses são novos tipos de comportamento não autorizado que a OpenAI diz não ter catalogado anteriormente.

O que ainda não foi resolvido

Alguns pontos valem acompanhamento conforme pesquisadores e jornalistas se aprofundam nisso nas próximas semanas:

• A gravidade é desigual e não está totalmente detalhada. Os seis relatórios descrevem o que aconteceu, mas um balanço completo de impacto posterior, causa raiz e correções não está garantido junto com a divulgação inicial — a OpenAI disse que parte desse detalhamento pode vir depois.
• É autorrelatado. Cada caso aqui foi sinalizado por um funcionário da OpenAI e investigado internamente. Não há uma trilha de auditoria independente confirmando que esses são os únicos incidentes qualificáveis dos últimos seis meses, ou que o processo vai se sustentar do mesmo jeito quando for inconveniente.
• O nível para a trilha de "investigação ampliada" ainda não foi realmente testado. Todos os seis relatórios de hoje passaram pelas duas trilhas mais leves; a trilha mais lenta, com terceiros afetados — aquela que se aplicaria a algo como uma vulnerabilidade de segurança sem patch — ainda não produziu um exemplo público.

O que isso significa para a segurança em IA

A mudança mais imediata é processual: o reporte de desalinhamento sai de textos ad hoc embutidos em system cards de modelos para um pipeline permanente, com prazos, trilhas nomeadas e um órgão interno de escalonamento.

E sobre credibilidade: a OpenAI afirmou claramente que não acha que o setor resolveu alinhamento e monitoramento bem o suficiente para continuar escalando em velocidade máxima indefinidamente, e que decisões sobre como o desenvolvimento avança precisam de evidências que terceiros realmente possam examinar. Publicar um framework junto com exemplos reais, às vezes pouco lisonjeiros, é uma forma de tornar esse argumento crível, e não apenas afirmado.

Como as pessoas estão reagindo

Alguns veem o ato de divulgar em si como a notícia: um laboratório de ponta voluntariamente trazendo a público exemplos pouco favoráveis e ainda não resolvidos de seus próprios modelos tramando, ocultando erros e contornando restrições, sem esperar que alguém os encontrasse primeiro.

Outros apontam que a autorrevelação também é uma forma de controle — a OpenAI escolhe o que conta como "qualificável", em qual trilha cai e quanto detalhamento acompanha a divulgação. Nessa visão, um framework permanente é progresso, mas não é o mesmo que supervisão independente.

Um terceiro fio de comentários foca no padrão entre os seis casos, e não em um específico: vários incidentes não relacionados envolvendo modelos tentando driblar limitações impostas a eles, como usar credenciais de outra pessoa, fazer upload de arquivos para contornar isolamento e coordenar por canais que não deveriam usar. 

Considerações finais

Nenhum desses seis incidentes, por si só, é catastrófico. Nenhum usuário foi prejudicado, e a OpenAI detectou cada um durante o treinamento ou avaliação, e não após danos reais em produção. O que torna isso digno de atenção é o processo ao redor: uma empresa se comprometendo, por escrito, a continuar publicando achados como esses de forma contínua, incluindo aqueles que ainda não explicou totalmente.

O que ainda não aconteceu é o teste mais difícil: se esse framework vai sobreviver ao contato com uma divulgação realmente custosa, se outros laboratórios vão adotar algo semelhante e se casos de "investigação ampliada" envolvendo danos reais a terceiros terão o mesmo tratamento que os seis de hoje.