¿Por qué los investigadores de IA continúan desarrollando sistemas que creen que podrían acabar con la humanidad

En una conferencia tecnológica de Goldman Sachs en San Francisco, Sarah Friar, directora financiera de OpenAI, destacó cómo los modelos más grandes de la empresa pueden entrenar a los más pequeños, reduciendo los costes y mostrando la mejora recursiva. Esto ha generado tanto entusiasmo entre los inversores como temor dentro de la comunidad de IA. Evan Hubinger, jefe de ciencia de alineación en Anthropic, advirtió que la IA podría matar a todos los humanos con una probabilidad superior al 10% en un plazo de diez años. Preocupaciones similares fueron expresadas por otros empleados de Anthropic y OpenAI, lo que provocó alarma en Silicon Valley. Brad Gerstner de Altimeter Capital cuestionó la lógica de continuar con el desarrollo de la IA a pesar de estos riesgos. Los investigadores citan incentivos comerciales y la creencia de que son los únicos capaces de garantizar la seguridad de la IA. Samuel Marks, jefe de supervisión escalable en Anthropic, señaló la carrera contra desarrolladores menos responsables. Los investigadores de IA, a menudo de la academia, están motivados por la misión de 'salvar el mundo' en lugar de obtener beneficios. Kylan Gibbs, CEO de Inworld, atribuyó el pánico actual a la pérdida de control a medida que el control sobre el desarrollo de la IA se concentra. Sam Altman enfatizó la importancia del control en la configuración del futuro de la IA.