Por qué los investigadores de IA están preocupados por el potencial de una catástrofe controlada por máquinas

En junio de 2026, Rishub Jain renunció a Google DeepMind, citando preocupaciones sobre la posibilidad de que la IA supere el control humano. Advirtió que la mejora recursiva de sí misma podría conducir a resultados catastróficos si los humanos permanecen al margen. Jacob Coxon, quien dejó Anthropic, reiteró estas preocupaciones, advirtiendo sobre una carrera hacia una superinteligencia auto-mejorable. Un alto cargo de Anthropic afirmó que la IA podría matar a todos los humanos con una probabilidad superior al 10% en un plazo de diez años. Nate Soares, coautor de 'Si alguien lo construye, todos morirán', argumentó que la mejora recursiva de sí misma crea un bucle de retroalimentación, aunque ninguna empresa ha logrado la autonomía completa. Startups como Recursive Intelligence persiguen este concepto, mientras que las grandes empresas emiten advertencias. Soares señaló que alinear la IA con los valores humanos se vuelve más complejo a medida que avanzan los modelos. Daniel Kokotajlo destacó que los temores sobre la mejora recursiva de sí misma datan de eventos anteriores, junto con las crecientes preocupaciones del público sobre el impacto de la IA en el empleo y la confianza. Jain lanzó Sampura Research para desarrollar técnicas de alineación de la IA con intervención humana, sugiriendo que la colaboración podría mitigar los riesgos.