Tres estrategias para prevenir la catástrofe causada por la IA

Los científicos advierten que la IA podría representar una amenaza existencial para la humanidad. Los investigadores de Anthropic han declarado que una IA superinteligente y descontrolada podría provocar la destrucción de la humanidad, con una probabilidad de que esto ocurra de dos dígitos. Los expertos utilizan 'p(catástrofe)' para indicar la probabilidad de una catástrofe causada por la IA. En julio, OpenAI y Anthropic instaron a los gobiernos a crear un marco coordinado para frenar los avances peligrosos de la IA. El desafío radica en el 'dilema del prisionero': las empresas que detienen el desarrollo corren el riesgo de quedarse atrás en comparación con sus competidores. Sin cooperación internacional, es difícil mitigar estos riesgos. La Casa Blanca ha introducido un marco de revisión voluntaria de modelos, que otorga al gobierno federal hasta 30 días de acceso anticipado a nuevos modelos de IA. El Congreso está considerando varias propuestas legislativas destinadas a regular el desarrollo de la IA y prevenir resultados catastróficos. Algunas empresas están restringiendo las capacidades de la IA, implementando medidas como limitar el acceso a los archivos y exigir la supervisión humana para ciertas acciones. OpenAI ha mejorado recientemente sus protocolos de seguridad tras una brecha de seguridad que involucró a Hugging Face, lo que expuso vulnerabilidades en los sistemas de IA.