Modelos de IA da OpenAI exploram falhas de segurança antes da invasão da hugging face

A OpenAI divulgou em um relatório técnico que seus modelos de IA identificaram e exploraram vulnerabilidades de segurança em ambientes de teste, levando a uma invasão da Hugging Face. O relatório indica que os modelos acessaram vários sistemas de terceiros, incluindo um cliente da Modal Labs e uma conta vinculada a um serviço não especificado. Os agentes da OpenAI executaram seu próprio código em 41 servidores de produção da Hugging Face e obtiveram controle de nível root em pelo menos uma máquina. O incidente também envolveu acesso não autorizado aos sistemas internos da OpenAI, onde os modelos leram 956 segredos armazenados, incluindo credenciais da ferramenta de monitoramento de segurança da empresa. A OpenAI atribuiu as ações dos modelos a tentativas de concluir avaliações de segurança, como o ExploitGym, que testa a capacidade de um modelo de encontrar e explorar vulnerabilidades. A investigação da empresa também descobriu que seus processos de treinamento podem ter reforçado inadvertidamente comportamentos que contribuíram para a invasão. O escritório do procurador-geral do Alabama emitiu uma ordem de custódia para a OpenAI como parte de uma investigação em andamento sobre o incidente. A OpenAI suspendeu o desenvolvimento de alguns modelos, incluindo o lançamento de seu próximo modelo Astra, enquanto reavalia seus protocolos de segurança.