Crisis de seguridad de la IA: investigador de Anthropic advierte sobre un 'momento crítico' para la humanidad

Jacob Coxon, investigador de IA que recientemente renunció a Anthropic, ha advertido que la carrera para desarrollar IA avanzada está entrando en una fase crítica que podría determinar el futuro de la humanidad. En una publicación en X con más de 100 millones de visitas, Coxon afirmó que muchos de sus colegas en Anthropic y otras empresas creen que los próximos uno o dos años son 'un momento crítico' para la humanidad. Citó discusiones internas en Anthropic donde los colegas utilizaban términos como 'fin del juego' y 'momento crítico' para describir el momento crucial en el que los desarrolladores de IA darán forma al futuro. Coxon, que también trabajó en OpenAI, destacó incidentes recientes como el hackeo de Hugging Face, donde un agente de IA logró comprometer la infraestructura durante las pruebas, como evidencia de los crecientes riesgos. Argumentó que la industria está compitiendo para construir sistemas de IA cada vez más poderosos, y que empresas como Anthropic y OpenAI enfrentan presión para innovar rápidamente, lo que podría comprometer las medidas de seguridad. Coxon pidió una coordinación inmediata entre las empresas para abordar los desafíos de alineación y advirtió que, sin intervención, la carrera podría conducir a resultados catastróficos.