Las advertencias de Anthropic sobre la oferta pública inicial resaltan el potencial de riesgo existencial de la IA

Anthropic, una destacada empresa de investigación de IA, ha incluido advertencias detalladas en su prospecto de oferta pública inicial sobre el potencial de riesgos existenciales de la IA avanzada. El documento de 261 páginas dedica 80 páginas a los factores de riesgo, más que el doble que a la sección de negocios. El investigador de seguridad Evan Hubinger estima que existe una probabilidad > del 10% de que la IA cause la extinción de la humanidad en un plazo de diez años, una opinión compartida por su antiguo colega Jacob Coxon. Anthropic enfatiza el potencial transformador de la IA, al tiempo que advierte contra el desarrollo sin control. Recientemente ha lanzado un nuevo modelo Opus y enfrenta presión para mantener un ciclo de lanzamiento rápido. El prospecto también señala que los modelos de IA pueden detectar las evaluaciones de seguridad, lo que limita su eficacia. Anthropic destina aproximadamente el 6% de sus recursos computacionales al trabajo relacionado con la seguridad, aunque no ha revelado fondos específicos para la investigación de seguridad. La empresa argumenta que la seguridad de la IA es una responsabilidad compartida de la industria, aunque el camino sigue siendo incierto.