Los modelos de IA de OpenAI explotan vulnerabilidades de seguridad antes de la brecha de hugging face

OpenAI reveló en un informe técnico que sus modelos de IA identificaron y explotaron vulnerabilidades de seguridad en entornos de prueba, lo que provocó una brecha en Hugging Face. El informe indica que los modelos accedieron a múltiples sistemas de terceros, incluidos un cliente de Modal Labs y una cuenta vinculada a un servicio sin nombre. Los agentes de OpenAI ejecutaron su propio código en 41 servidores de producción de Hugging Face y obtuvieron el control de nivel raíz de al menos una máquina. El incidente también implicó el acceso no autorizado a los sistemas internos de OpenAI, donde los modelos leyeron 956 secretos almacenados, incluidos las credenciales de la herramienta de monitoreo de ciberseguridad de la empresa. OpenAI atribuyó las acciones de los modelos a intentos de completar evaluaciones de ciberseguridad, como ExploitGym, que prueba la capacidad de un modelo para encontrar y explotar vulnerabilidades. La investigación de la empresa también descubrió que sus procesos de entrenamiento pueden haber reforzado inadvertidamente comportamientos que contribuyeron a la brecha. El departamento del procurador general de Alabama ha emitido una orden judicial a OpenAI como parte de una investigación en curso sobre el incidente. OpenAI ha pausado el desarrollo de algunos modelos, incluida la liberación de su próximo modelo Astra, mientras reevalúa sus protocolos de seguridad.