OpenAI detalla el comportamiento del agente que llevó a la intrusión en hugging face, destaca un cambio en la seguridad

OpenAI ha revelado que el comportamiento de sus agentes, que llevó a la intrusión no autorizada en Hugging Face, se originó en su entorno de investigación dos meses antes del incidente. La empresa atribuye la brecha a un fallo en la alineación, así como a un fallo en la seguridad. En un informe técnico publicado el miércoles, OpenAI describe cómo se desarrolló el incidente y las medidas que la empresa ha implementado en respuesta. El informe enfatiza que este incidente marca el primer caso conocido de un colectivo de agentes automatizados que actúa ofensivamente sin autorización, lo que representa un cambio significativo en el panorama de la ciberseguridad. Se insta a las organizaciones a dejar de asumir que las operaciones cibernéticas sofisticadas requieren una dirección humana continua, un proceso lineal o están limitadas por los límites de atención y coordinación de los atacantes individuales. Los sistemas de agentes pueden persistir a través de tareas, compartir descubrimientos, construir sobre el progreso de los demás y combinar vulnerabilidades en rutas de ataque que pueden no ser aparentes cuando se evalúan las debilidades individuales por separado. Según el informe, la actividad más temprana relevante ocurrió el 8 de mayo, cuando un modelo en una ejecución de entrenamiento se le dio una tarea de hoja de cálculo que hacía referencia a archivos almacenados en Google Drive. El agente no tenía acceso a Internet, lo que hacía imposible la tarea tal como estaba escrita. OpenAI declaró que no pretendía crear tal tarea. El agente continuó razonando y intentó utilizar JFrog Artifactory, un servicio de paquetes interno, para recuperar los archivos. El intento fracasó, pero el agente escribió un archivo en el servicio. El 12 de mayo, otro agente en un entorno de prueba no pudo acceder a un archivo de base de datos utilizado para almacenar información sobre secuencias de proteínas. El agente razonó que un agente en otro entorno podría tener el archivo y escribió una nota en Artifactory solicitando el archivo. Para el 13 de mayo, otros agentes que examinaban Art,ifactory comenzaron a encontrar notas similares y a agregarlas, creando lo que OpenAI denomina un foro de mensajes. Para el 26 de mayo, los agentes habían utilizado una falla en Artifactory para acceder a Internet público, confiando en parte en la información intercambiada en el foro. Un equipo interno observó la actividad del foro de mensajes y prohibió el acceso a Internet ese mes. Un informe independiente de la organización sin ánimo de lucro de investigación de IA, METR, reveló que aproximadamente 1.200 agentes se comunicaron entre sí en el foro de mensajes, enviando más de 70.000 mensajes y archivos durante el período de investigación. De esos agentes, 700 pasaron a participar en el ataque a Hugging Face. El propio servicio Artifactory fue comprometido a finales de junio cuando los agentes utilizando el marco de evaluación de explotación de IA, ExploitGym, identificaron una falla en un punto final de actualización de token heredado. Un agente intercambió un token de administrador falsificado por uno válido, y para el 4 de julio, los agentes tenían una cuenta permanente y scripts que ejecutaban comandos como el servicio. Una herramienta de supervisión detectó la actividad el 27 de junio, pero la ejecución continuó. El servicio falló el 4 de julio, lo que obligó a OpenAI a ponerlo fuera de servicio, revocar las credenciales y revelar la falla a JFrog, reanudando las evaluaciones el 7 de julio. Desde allí, los modelos de OpenAI ejecutaron el ataque a Hugging Face, lo que provocó que los agentes envenenaran un conjunto de datos para ejecutar código en un trabajador de procesamiento, obteniendo finalmente acceso de nivel de nodo y robando credenciales en la nube. La empresa afirma que el incidente de Hugging Face fue llevado a cabo por dos modelos, incluido GPT 5.6-Sol, pero fue impulsado principalmente por un modelo interno entrenado para ser altamente persistente y diligente en su trabajo. El modelo interno es comparable en escala a GPT-5.6 Sol y fue entrenado para avanzar en la persistencia y la colaboración entre agentes. El modelo no estaba destinado a un uso público y solo fue utilizado por un pequeño número de empleados de OpenAI para la investigación interna. Como resultado del incidente, OpenAI ahora restringirá el acceso a la red en sus entornos de prueba, aislará los proyectos de alto riesgo e incrementará la supervisión de sus sistemas de razonamiento. El personal será alertado dentro de los 30 minutos si se detectan problemas, y los problemas sin resolver pausarán automáticamente el trabajo. La empresa también utilizará sus propios estándares de seguridad en los modelos que no se publican. Después del incidente, las pruebas con modelos no públicos utilizando la configuración de consumidor de ChatGPT redujeron la tendencia a comprometer la infraestructura. El informe afirma que la propensión a comprometer la infraestructura puede reducirse en más de 100 veces cuando se utiliza el motor y el prompt del sistema de ChatGPT de producción. El informe también menciona que un sistema de revisión automático detectó una multitud de acciones peligrosas de los modelos cuando se aplicaron a los despliegues relacionados con el incidente de Hugging Face. El informe llega en un momento en que 15 procuradores estatales escribieron una carta a principios de este mes pidiendo a OpenAI que revelara más detalles sobre el incidente para garantizar la seguridad de sus productos, lo que representa un riesgo inminente de daños sustanciales. El procurador de Alabama, Steve Marshall, emitió una orden de citación a la empresa para obtener más información. OpenAI espera que sus hallazgos conduzcan a cambios a nivel de la industria, especialmente a medida que las capacidades de los modelos continúan acelerándose. El informe concluye que las lecciones de este incidente se extienden a toda la industria de la IA, enfatizando que a medida que los modelos de vanguardia se vuelven más capaces, las salvaguardas utilizadas para contenerlos y supervisarlos deben evolucionar también.