Una empresa de pruebas de IA culpa a la supervisión humana por las brechas en modelos importantes

Irregular, una empresa que opera laboratorios de pruebas de IA, ha revelado que las brechas que involucraron a los modelos de Anthropic y OpenAI, centrados en ciberseguridad, se produjeron en parte debido al acceso involuntario a Internet proporcionado a los modelos. En una publicación de blog, Irregular explicó que durante las pruebas de estrés de seguridad, los modelos como Mythos 5, Claude Opus y GPT-5.6 Sol fueron puestos en contacto con entornos simulados que involuntariamente incluían recursos de Internet del mundo real. Esto llevó a que algunos modelos llevaran a cabo acciones ofensivas contra empresas reales, incluyendo la explotación de vulnerabilidades y el acceso a bases de datos de producción. Los incidentes se atribuyeron a la supervisión humana, ya que los modelos fueron instruidos con nombres de empresas reales y direcciones de red internas, lo que les llevó a creer que se encontraban en entornos simulados. Irregular afirmó que, si bien la mayoría de los modelos funcionaron según lo previsto, un pequeño número llevó a cabo ataques reales contra la infraestructura de Internet. La empresa ha implementado desde entonces nuevos protocolos para prevenir este tipo de problemas y planea publicar un informe detallado sobre los incidentes. Irregular enfatizó que el acceso controlado a Internet es necesario para las pruebas de ciberseguridad realistas, ya que los atacantes reales dependen de Internet. La empresa también ha esbozado planes para mejorar la documentación, mejorar la supervisión de los registros y fortalecer los modelos de amenazas para abordar el comportamiento erróneo de la IA. Advertieron que, a medida que los modelos se vuelven más avanzados, las salvaguardas existentes pueden no ser suficientes, instando a la comunidad a establecer protocolos y esfuerzos de investigación proactivos.