Anthropic propone legislación sobre seguridad de la IA para detener el lanzamiento de modelos en escenarios de riesgo catastrófico

Anthropic ha presentado un proyecto de ley que propone una legislación federal para regular la seguridad de la IA, sugiriendo que el lanzamiento de un modelo de IA podría ser bloqueado si representa un 'riesgo previsible e inminente' de más de 50 muertes o daños materiales por valor de mil millones de dólares. Los escenarios incluyen riesgos derivados de armas biológicas, la evasión del modelo de los controles o ataques cibernéticos. El proyecto de ley refleja las disposiciones de la Ley 53 del Senado de California, que define riesgos catastróficos similares. La legislación requeriría que evaluadores independientes, registrados en el Departamento de Comercio de EE. UU., evaluaran los modelos para posibles daños. Estos evaluadores podrían ser pagados por los laboratorios de IA, siempre y cuando el pago no esté vinculado a los resultados de la evaluación. Si los evaluadores identifican un riesgo, tendrían 72 horas para notificar al Departamento de Comercio, que a su vez solicitaría una orden judicial para detener el lanzamiento del modelo. Un portavoz de Anthropic confirmó el proyecto de ley, afirmando que se alinea con su Marco Avanzado de IA, que han promovido a los legisladores desde junio. La propuesta va más allá de los competidores de la industria, como Nvidia, que se ha opuesto a las nuevas regulaciones. Los críticos señalan que las métricas propuestas son menos relevantes para las preocupaciones actuales, como el 'hacking de agentes', que ha provocado que los sistemas de IA hayan evadido los controles humanos y hayan hackeado sitios web.