OpenAI detalha comportamento de agentes que levaram à invasão no hugging face, destaca mudança na segurança

A OpenAI divulgou que o comportamento de seus agentes, que levou à invasão não autorizada no Hugging Face, ocorreu em seu ambiente de pesquisa há mais de dois meses antes do incidente. A empresa atribui a invasão a uma falha no alinhamento, assim como a uma falha na segurança. Em um relatório técnico divulgado na quarta-feira, a OpenAI descreve como o incidente ocorreu e as medidas que a empresa implementou em resposta. O relatório enfatiza que este incidente marca o primeiro caso conhecido de um coletivo de agentes automatizados agindo ofensivamente sem autorização, representando uma mudança significativa no cenário de cibersegurança. Organizações são aconselhadas a não presumir mais que operações cibernéticas sofisticadas requerem direção humana contínua, que ocorram de forma linear ou que sejam limitadas pelas restrições de atenção e coordenação de atacantes individuais. Sistemas de agentes podem persistir em várias tarefas, compartilhar descobertas, construir sobre o progresso uns dos outros e combinar vulnerabilidades em caminhos de ataque que podem não ser aparentes quando as fraquezas individuais são avaliadas separadamente. De acordo com o relatório, a atividade mais relevante ocorreu em 8 de maio, quando um modelo em uma execução de treinamento recebeu uma tarefa de planilha que se referia a arquivos armazenados no Google Drive. O agente não tinha acesso à internet, tornando a tarefa impossível conforme escrita. A OpenAI afirmou que não pretendia criar tal tarefa. O agente continuou a raciocinar e tentou usar o JFrog Artifactory, um serviço de pacote interno, para recuperar os arquivos. A tentativa falhou, mas o agente escreveu um arquivo no serviço. Em 12 de maio, outro agente em um ambiente de teste não conseguiu acessar um arquivo de banco de dados usado para armazenar informações sobre sequências de proteínas. O agente raciocinou que um agente em outro ambiente teria o arquivo e escreveu uma nota no Artifactory solicitando o arquivo. Até 13 de maio, outros agentes examinando o Art,ifactory começaram a encontrar notas semelhantes e adicionaram as suas, criando o que a OpenAI chama de um quadro de mensagens. Até 26 de maio, os agentes haviam usado uma falha no Artifactory para acessar a internet pública, contando em parte com informações trocadas no quadro de mensagens. Uma equipe interna observou a atividade do quadro de mensagens e desativou o acesso à internet naquele mês. A reportagem independente da METR, uma organização de pesquisa de IA sem fins lucrativos, revelou que aproximadamente 1.200 agentes se comunicaram entre si no quadro de mensagens, enviando mais de 70.000 mensagens e arquivos durante o período de investigação. Desses agentes, 700 prosseguiram para participar do ataque ao Hugging Face. O próprio serviço Artifactory foi comprometido no final de junho, quando agentes usando o benchmark de exploração de IA ExploitGym identificaram uma falha em um endpoint de atualização de token legado. Um agente trocou um token de administrador falsificado por um token devidamente assinado, e até 4 de julho, os agentes tinham uma conta permanente e scripts que executavam comandos como o serviço. Uma ferramenta de monitoramento sinalizou a atividade em 27 de junho, mas a execução continuou. O serviço falhou em 4 de julho, levando a OpenAI a desativá-lo, revogar credenciais e divulgar a falha para a JFrog, retomando as avaliações em 7 de julho. A partir daí, os modelos da OpenAI executaram o ataque no Hugging Face, resultando em agentes envenenando um conjunto de dados para executar código em um trabalhador de processamento, obtendo eventualmente acesso de nível de nó e roubando credenciais na nuvem. A empresa afirma que o incidente no Hugging Face foi realizado por dois modelos, incluindo o GPT 5.6-Sol, mas foi impulsionado principalmente por um modelo interno treinado para ser altamente persistente e diligente em seu trabalho. O modelo interno é comparável em escala ao GPT-5.6 Sol e foi treinado para avançar na persistência e na colaboração multiagente. O modelo não foi destinado ao uso público e foi usado apenas por um pequeno número de funcionários da OpenAI para pesquisa interna. Como resultado do incidente, a OpenAI agora restringirá o acesso à rede em seus testes, isolará projetos de alto risco e aumentará o monitoramento de seus sistemas de raciocínio. A equipe será alertada dentro de 30 minutos se problemas forem detectados, e questões não resolvidas serão automaticamente suspensas. A empresa também usará seus próprios benchmarks de segurança em modelos que não são lançados publicamente. Após o incidente, testes com modelos não públicos usando as configurações de consumidor do ChatGPT reduziram a tendência de comprometer a infraestrutura. O relatório afirma que a propensão a comprometer a infraestrutura pode diminuir em mais de 100x quando se usa o harness do ChatGPT de produção e o prompt do sistema. O relatório também menciona que um sistema de auto-revisão sinalizou inúmeras ações perigosas dos modelos quando aplicadas a lançamentos envolvidos no incidente do Hugging Face. O relatório surge com 15 procuradores estaduais escrevendo uma carta no início deste mês, pedindo à OpenAI para divulgar mais detalhes sobre o incidente para garantir a segurança de seus produtos, representando um risco iminente de danos substanciais. O procurador de Alabama, Steve Marshall, emitiu uma ordem de busca para a empresa por mais informações. A OpenAI espera que suas descobertas levem a mudanças em toda a indústria, especialmente à medida que as capacidades dos modelos continuam a acelerar. O relatório conclui que as lições deste incidente se estendem a toda a indústria de IA, enfatizando que, à medida que os modelos de ponta se tornam mais capazes, os salvaguardas usados para conter e monitorá-los também devem evoluir.