El modelo astra de OpenAI genera preocupaciones sobre seguridad debido a una nueva técnica de razonamiento

El modelo astra de OpenAI, que utiliza una técnica de razonamiento novedosa llamada 'recursividad opaca', ha generado preocupación entre los expertos en seguridad de la IA. El método permite que el modelo procese las consultas de forma no lineal, lo que dificulta el seguimiento de su cadena de pensamiento. Buck Shlegeris, CEO de Redwood, expresó su preocupación de que el mayor desarrollo de la técnica podría reducir significativamente la transparencia. Zvi Mowshowitz advirtió que estas prácticas podrían poner en peligro las normas de seguridad establecidas. OpenAI ha declarado que el uso de la técnica en Astra está limitado, y que el razonamiento del modelo sigue siendo legible. La empresa también ha anunciado planes para implementar sistemas extensos de monitoreo de la cadena de pensamiento. Jakub Pachocki, jefe científico de OpenAI, enfatizó el compromiso del laboratorio de mantener la transparencia en los procesos de razonamiento. Los investigadores temen que, a medida que la recursividad opaca se vuelva más extendida, podría complicar los esfuerzos para garantizar la alineación y la seguridad de la IA.