Emprendedores de anthropic y metr lanzan startup de seguridad de IA con 55 millones de dólares en financiación

Rune Kvist y Rajiv Dattani, un empleado temprano de Anthropic y ex director de operaciones de METR, han lanzado Artificial Intelligence Underwriting Company (AIUC), una startup centrada en la seguridad de la IA para empresas. La empresa ha conseguido 55 millones de dólares en financiación, incluyendo 40 millones de dólares en una ronda de Series A liderada por Ribbit Capital y 15 millones de dólares en una ronda de semillas de NFDG de Nat Friedman. AIUC tiene como objetivo aplicar los estándares de ciberseguridad a los riesgos de la IA, desarrollando un marco de certificación llamado AIUC-1, inspirado en SOC 2. La startup realiza pruebas exhaustivas de agentes de IA a través de 5.000 escenarios, utilizando la IA para ejecutar las pruebas y analizar los datos, con verificación humana para las auditorías finales. Dattani enfatizó la necesidad de transparencia, afirmando: 'Aquí es donde pasa y donde puede confiar.' El enfoque de AIUC se asemeja al trabajo de METR, que anteriormente se centraba en las pruebas de rendimiento para laboratorios de vanguardia. Dario Amodei, CEO de Anthropic, también ha solicitado evaluaciones de seguridad de terceros. El modelo de AIUC busca proporcionar a las empresas evaluaciones independientes de la seguridad de los agentes de IA, abordando las preocupaciones sobre el comportamiento erróneo y las fugas de datos. Entre los clientes de la startup se encuentran Cursor, Lovable, Harvey y ElevenLabs, lo que refleja su creciente influencia en el espacio de la seguridad de la IA.