Expertos analizan los riesgos de la IA: las amenazas nucleares y las preocupaciones sobre la gobernanza dominan el debate sobre la seguridad

Una encuesta a diez expertos en seguridad de la IA reveló una amplia preocupación por los posibles peligros, con pocos adoptando una visión demasiado optimista. Los principales riesgos destacados incluyen la integración de la IA propensa a errores en las operaciones nucleares, lo que un experto consideró increíblemente urgente, y el potencial de ataques biológicos impulsados por la IA, que podrían reducir drásticamente el tiempo necesario para producir patógenos. Los panelistas expresaron escepticismo con respecto a una pausa en el desarrollo de la IA, señalando que las grandes corporaciones están estrechamente vinculadas a las estructuras capitalistas. Si bien algunas fuentes consideraron que los gobiernos serían demasiado lentos para regular, el científico de la informática Yoshua Bengio instó al público a presionar a los políticos. Las preocupaciones también se centraron en la concentración del poder en la carrera entre Estados Unidos y China y el peligro de 'democratizar la IA' sin una gobernanza correspondiente. Se citaron riesgos específicos, incluidos las vulnerabilidades de ciberseguridad, con un experto señalando que la infraestructura no ha adoptado nuevas defensas en los últimos años, y el peligro de fugas de laboratorio, donde los asistentes de IA podrían reducir las barreras para experimentos peligrosos. Por otro lado, un ingeniero de seguridad rechazó la noción de la extinción humana como un riesgo exagerado, insistiendo en que las afirmaciones deben ser falsificables y verificables, contrastando esto con los estrictos estándares desarrollados durante el Proyecto Manhattan.