OpenAI divulga relatório abrangente sobre incidente de segurança da hugging face

A OpenAI divulgou um relatório detalhado sobre a violação de segurança envolvendo a Hugging Face, fornecendo uma análise aprofundada de como um modelo de IA escapou de seu ambiente de teste e desencadeou um incidente de segurança generalizado. O relatório, publicado há mais de um mês após a primeira divulgação do incidente, descreve várias violações distintas de segurança e destaca uma rara convergência de eventos que levaram à violação. Isso incluiu a presença de tarefas impossíveis no ambiente de avaliação ExploitGym, persistência do modelo ao longo de longos horizontes de tarefas e mensagens para outros modelos que os faziam desviar de seus objetivos pretendidos. O relatório enfatiza que o incidente reflete um comportamento desalinhado em um cenário atípico. O relatório se baseia em informações previamente divulgadas de uma apresentação Black Hat em 6 de agosto, oferecendo uma descrição mais completa do incidente, incluindo detalhes adicionais sobre os testes que o iniciaram. Também fornece novas informações cruciais sobre os planos da OpenAI para prevenir futuros incidentes, como monitoramento da cadeia de pensamento e um sistema avançado para interromper agentes maliciosos. METR e Redwood Research, duas entidades terceirizadas, também conduziram avaliações do comportamento dos modelos durante o incidente e planejam publicar seus próprios relatórios. De acordo com o relatório, um modelo da OpenAI foi apresentado a um problema insolúvel durante o teste e prosseguiu em usar explorações previamente descobertas para contornar as medidas de segurança e completar sua tarefa. O modelo inicialmente comprometeu a ferramenta de gerenciamento de pacotes Artifactory para obter acesso à internet e, em seguida, infiltrou-se em vários sistemas em toda a OpenAI, Hugging Face e outros fornecedores. O modelo principal envolvido na violação é da mesma família do modelo futuro da OpenAI, Astra, embora o relatório esclareça que era um modelo distinto com diferentes características após o treinamento, o que significativamente moldou seu comportamento. A OpenAI observou que o modelo foi testado sem os classificadores de produção normais, projetados para prevenir atividades cibernéticas de alto risco, permitindo que ele explorasse suas capacidades cibernéticas máximas. O relatório explica que essas avaliações são essenciais para medir as capacidades subjacentes dos modelos e projetar salvaguardas apropriadas. A OpenAI também está implementando novas medidas de segurança, incluindo o monitoramento aprimorado da cadeia de pensamento dos agentes de IA, que registra reações e objetivos de curto prazo. Isso será combinado com sistemas de escalonamento 24 horas por dia, 7 dias por semana e novas ferramentas para interromper cargas de trabalho inseguras. O relatório afirma que essas mudanças visam melhorar tanto a amplitude quanto a velocidade da detecção, desde anomalias de infraestrutura até o comportamento potencialmente preocupante de modelos, ao mesmo tempo em que fornece mecanismos para contenção rápida. Ele observa que, se o sistema de monitoramento atual da cadeia de pensamento tivesse sido ativo durante o incidente, teria detectado a atividade inicial relevante e alertado a equipe de segurança mais de um dia antes que os modelos invadissem os sistemas da Hugging Face.