Científico de OpenAI aclara la complejidad del razonamiento de astra en medio de las preocupaciones sobre la transparencia

El 2 de septiembre, Jakub Pachocki, el jefe científico de OpenAI, abordó las preocupaciones sobre el 'razonamiento opaco' del modelo Astra en X. La controversia surgió después de que The Information informara que OpenAI está probando la tecnología de 'recurrencia profunda', que podría ocultar los procesos de toma de decisiones internos del modelo. Pachocki enfatizó que la profundidad del grafo de computación de los modelos actuales de OpenAI, incluidos Astra, es inferior a dos veces la de GPT-4, y que la arquitectura no ha experimentado un gran aumento de complejidad. Advirtió contra una 'carrera hacia un estado de IA no supervisado' debido a informes mediáticos engañosos. Pachocki reconoció que el monitoreo de la cadena de pensamiento, una herramienta clave para comprender la alineación del modelo, es actualmente frágil y ha ido en declive, independientemente de los cambios arquitectónicos. Afirmó que fortalecer este monitoreo es un enfoque central de la investigación actual. OpenAI planea implementar un monitoreo adicional de la cadena de pensamiento para Astra. La profundidad del grafo de computación, una medida de la complejidad de la red neuronal, se refiere al número de capas secuenciales de computación que utiliza un modelo.