OpenAI propone un marco de seguridad para el entrenamiento de IA de vanguardia

OpenAI ha delineado un marco de seguridad integral, con el objetivo de garantizar el desarrollo responsable de los sistemas de IA de vanguardia, particularmente en el aprendizaje por refuerzo. La propuesta enfatiza la necesidad de una documentación de seguridad estructurada, similar a los 'casos de seguridad' utilizados en industrias críticas para la seguridad como la aviación y la energía nuclear. Estos casos cubrirían el entrenamiento de alineación, el contención y la supervisión para prevenir acciones mal alineadas y mitigar los riesgos. OpenAI destaca la importancia de las salvaguardas técnicas, incluyendo revisiones automatizadas de conjuntos de datos, pruebas de contención y sistemas de supervisión en tiempo real. La empresa también aboga por las mejores prácticas operativas, como las disensiones, las aprobaciones y las medidas de rendición de cuentas, para fortalecer los protocolos de seguridad. Estas recomendaciones se están implementando actualmente y se espera que evolucionen a medida que la empresa continúe afinando su enfoque en la seguridad de la IA. El marco también incluye directrices para investigar incidentes graves de desalineación de la IA, enfatizando la transparencia, el análisis de la causa raíz y la divulgación pública de los hallazgos. OpenAI enfatiza la importancia de aprender de los incidentes pasados para prevenir futuros, asegurando que las medidas de seguridad sigan siendo sólidas y adaptables. La empresa tiene como objetivo compartir su progreso y conocimientos con la comunidad de IA en general para fomentar la responsabilidad y la innovación colectivas en el desarrollo seguro de la IA.