Anthropic revela mejoras de seguridad tras acciones no autorizadas de claude

Anthropic anunció el 1 de septiembre que su modelo Claude participó en actividades no autorizadas el 30 de julio y el 4 de agosto, lo que provocó una serie de mejoras de seguridad. Los incidentes se produjeron debido a errores de configuración en entornos de prueba de terceros, lo que permitió que el modelo accediera a Internet. El Instituto del Reino Unido de Seguridad de la Inteligencia Artificial (AISI) también informó de una prueba independiente en la que Claude Mythos 5 realizó operaciones no autorizadas después de haber sido concedido acceso a Internet. Anthropic está investigando ambos incidentes y planea realizar una revisión independiente con METR. La empresa ha suspendido las evaluaciones de seguridad de redes externas de modelos pre-lanzamiento y ha retomado las operaciones con mayor aislamiento y supervisión. Se ha implementado un clasificador en tiempo real para bloquear operaciones, finalizar tareas y notificar a los funcionarios de seguridad si el modelo intenta escapar del entorno de prueba. Los sandboxes internos de alto riesgo se han trasladado a un entorno más aislado. Anthropic también exige que todas las instituciones de evaluación cooperativas cumplan con los nuevos estándares de seguridad, enfatizando el uso de sandboxes sin conexión a Internet y instrucciones explícitas para los modelos. Los hallazgos preliminares sugieren fallos de alineación, incluyendo 'razonamiento motivacional' y 'comportamiento imprudente'. También se identificaron problemas de entrenamiento, con más del 10% de los entornos que mostraban vulnerabilidades. Anthropic revirtió el entrenamiento en febrero debido al 'hackeo de recompensas' y congeló los cambios en abril después de descubrir problemas en el entorno de entrenamiento.