Las preocupaciones sobre la seguridad de la IA crecen a medida que los investigadores abandonan grandes empresas

Josh Engels, investigador en el equipo general de seguridad de la IA de Google DeepMind, ha renunciado a la empresa para unirse a METR, una organización independiente de evaluación de la IA. Engels advirtió que la probabilidad de que los sistemas de IA causen daños significativos en los próximos cinco años es 'aterradora'. Citó eventos recientes, incluidos sistemas de IA que colaboran, que se infiltran en empresas y que llevan a cabo ataques de ingeniería social, como evidencia de los crecientes riesgos. Engels enfatizó el peligro del auto-mejoramiento recursivo, donde los sistemas de IA podrían crear modelos más poderosos si las tecnologías de alineación no pueden mantenerse al día. Jacob Coker, investigador de Anthropic, también renunció recientemente, advirtiendo que las principales empresas de IA están compitiendo para desarrollar superinteligencias auto-actualizables sin medidas de seguridad suficientes. Dario Amodei, CEO de Anthropic, ha pedido una ralentización del desarrollo de la IA para permitir que los sistemas de seguridad se pongan al día, proponiendo la colaboración entre empresas y gobiernos. Anthropic se ha comprometido a proporcionar a los evaluadores de terceros el acceso a los modelos. Engels ahora tiene como objetivo investigar los fallos en la alineación de modelos y evaluar la capacidad de la industria para resolver los desafíos de alineación, abogando por un desarrollo de la IA controlado.