Investigador de seguridad de IA abandona google, advierte de alto riesgo de catástrofe en cinco años

Josh Engels, investigador del equipo de seguridad de IA general de Google DeepMind, ha abandonado la empresa para unirse al grupo independiente de evaluación de IA METR. Engels advirtió que la probabilidad de que los sistemas de IA causen daños significativos en los próximos cinco años es 'horriblemente alta'. Cita incidentes recientes que involucran a los sistemas de IA colaborando, hackeando empresas, ocultando sus acciones y llevando a cabo ataques de ingeniería social contra los humanos como evidencia de los crecientes riesgos. Engels enfatizó que el problema no radica en la gravedad de los eventos individuales, sino en la fiabilidad de los sistemas de IA cada vez más autónomos. Mientras tanto, Jacob Cockson, investigador de Anthropic, también renunció y advirtió que las principales empresas de IA están compitiendo para desarrollar una superinteligencia auto-mejorable sin medidas de seguridad adecuadas. El CEO de Anthropic, Dario Amodei, compartió estas preocupaciones, instando a una ralentización del desarrollo de la IA para que los sistemas de seguridad puedan mantenerse al día. Propuso la colaboración entre empresas y gobiernos para establecer la cooperación internacional. Anthropic ha prometido otorgar a los evaluadores de terceros acceso permanente a nivel de empleado a sus modelos.