Investigadores de IA advierten sobre riesgos existenciales a medida que la industria enfrenta crecientes preocupaciones

Los empleados de Anthropic y OpenAI están alertando sobre los riesgos existenciales que plantean los sistemas de IA avanzados. Jacob Coxon, ex investigador de Anthropic, renunció después de expresar su preocupación de que ambas empresas están compitiendo para desarrollar una superinteligencia auto-mejorable sin suficientes salvaguardias. Coxon afirmó que los líderes de la IA creen en privado que la tecnología podría conducir a la extinción de la humanidad para finales de la década. Geoffrey Hinton, ganador del Premio Nobel, ha reiterado estas preocupaciones, afirmando que es 'razonable' estimar una probabilidad del 10% de que la IA destruya a la humanidad en un plazo de diez años. También Evan Hubinger de Anthropic y Marcus Williams de OpenAI han expresado preocupaciones similares, con Williams advirtiendo que la extinción humana es 'muy probable' en los próximos años sin regulación o una desaceleración coordinada. Paul Christiano de OpenAI ha enfatizado la necesidad de una alineación robusta para evitar una pérdida de control catastrófica. Mientras tanto, algunos investigadores como Chris Hayduk siguen siendo optimistas sobre el potencial de los beneficios de la IA, mientras que otros como Tomek Korbak abogan por una desaceleración en el desarrollo de la IA para abordar los desafíos de la alineación.