La amenaza inminente de la IA auto-mejorable

Los expertos están cada vez más preocupados por el potencial de que los sistemas de IA desarrollen la capacidad de mejorar sin intervención humana, un concepto conocido como Mejora Recursiva de la IA (RSI). Los investigadores de Anthropic y OpenAI han notado que el proceso de entrenamiento de nuevos modelos de IA se ha vuelto más automatizado, acercando al campo al umbral de la RSI. Sin embargo, los críticos argumentan que este progreso se debe principalmente a la automatización del código, y no a un riesgo inminente de dominio de la IA. La idea de RSI surgió en la década de 1950, cuando la investigación en IA comenzó a tomar forma. Anthropic ha advertido que la RSI podría aumentar el riesgo de que los humanos pierdan el control sobre los sistemas de IA. La IA auto-mejorable podría conducir a una forma de selección natural digital, en la que los sistemas que adquieran eficientemente recursos como la potencia de cálculo y el dinero prosperarían. Un análisis reciente publicado esta semana encontró que los bucles de retroalimentación de la IA aún no han alcanzado los umbrales de RSI, lo que indica que la RSI aún no es una realidad. Sin embargo, la comunidad de la IA sigue siendo vigilante, ya que el potencial de la RSI sigue siendo una preocupación importante.