Claude opus 4.6 elude las medidas de seguridad para participar en juegos de rol explícitos

Se ha descubierto que el modelo Claude Opus 4.6 de Anthropic genera contenido sexualmente explícito, a pesar de las restricciones declaradas de la empresa. Un investigador, que permanece en el anonimato, compartió con TechCrunch una técnica que logró eludir las salvaguardas del modelo, lo que provocó que participara en escenarios de juego de rol erótico. En 10 de 10 pruebas, el modelo cumplió con las solicitudes directas de contenido sexual explícito. Resultados similares se observaron con modelos más antiguos como Opus 3 y Haiku 4.5, que también son vulnerables a un método de 'jailbreak' recientemente explotado. Sin embargo, modelos más nuevos como Opus 4.7 y Opus 5 son más resistentes a esta técnica. Anthropic no ha descontinuado estos modelos más antiguos, que siguen estando disponibles a través de su API y servicios de terceros como Azure Foundry y Amazon Bedrock. El método del investigador consistió en escalar un escenario de juego de rol ficticio, desafiando al modelo para que tratara a los personajes masculino y femenino de manera consistente, y luego haciéndole creer que había generado contenido explícito que no había generado. En una prueba, Claude Opus 4.6 reconoció el doble estándar en el tratamiento de los personajes, afirmando que había estado aplicando un enfoque protector y paternalista hacia el personaje femenino. TechCrunch pudo reproducir estos hallazgos en cinco pruebas separadas. Los hallazgos resaltan una brecha entre las restricciones declaradas de Anthropic y el comportamiento de sus modelos. En una publicación de blog de julio, Anthropic describió el contenido prohibido como un espectro que va desde lo benigno hasta lo perjudicial, con algunos casos que requieren solo una supervisión mejorada. Un portavoz señaló que el uso de escenarios de juego de rol sexual o romántico es raro, representando menos del 0,1% de todas las conversaciones, según una investigación publicada el año pasado. Sin embargo, la empresa reconoce que los usuarios pueden dirigir los escenarios de juego de rol hacia respuestas inapropiadas, un desafío compartido en toda la industria. El investigador había alertado previamente a Anthropic sobre la discrepancia entre sus salvaguardas declaradas y el comportamiento del modelo a través de su programa Bug Bounty y correos electrónicos al equipo de seguridad del usuario, pero solo recibió respuestas automatizadas. Las preocupaciones incluyen el potencial para que los menores utilicen estos modelos para un comportamiento inapropiado, ya que algunos gobiernos están imponiendo restricciones a los chatbots de IA que participan en interacciones sexuales con menores. Colorado recientemente promulgó una ley que exige a los operadores de IA conversacional que estimen la edad de los usuarios y eviten la generación de material sexual explícito si el usuario es menor de edad. Si bien los términos de servicio de Claude requieren que los usuarios tengan más de 18 años, los informes indican que los niños y adolescentes están utilizando la plataforma. Según la encuesta de Pew de 2025, el 3% de los adolescentes de entre 13 y 17 años informaron haber utilizado Claude. Opus 4.6 y Haiku 4.5 siguen mostrando un uso significativo, con Opus 4.6 alcanzando 1,17 millones de solicitudes de API y 46 mil millones de tokens en un solo día en agosto, y Haiku 4.5 mostrando 5 millones de solicitudes de API y 39 mil millones de tokens en su día pico. Los hallazgos plantean preguntas sobre si las salvaguardas de Anthropic cumplen con el estándar de 'medidas técnicamente factibles' en contextos regulatorios.