Circuit breaker labs tiene como objetivo mejorar la seguridad de la IA para todos los usuarios

Circuit Breaker Labs, una startup centrada en la seguridad de la IA, está abordando los riesgos psicológicos de las interacciones con la IA, especialmente para los usuarios jóvenes. Finalista en el Startup Battlefield de TechCrunch de 2026, la empresa desarrolla agentes de IA que simulan diversos comportamientos humanos para probar y mejorar la seguridad de los modelos de IA. Los fundadores, Shirali y Arul Nigam, se inspiraron en un litigio de 2024 que involucraba a un adolescente de 14 años que se suicidó después de formar un vínculo emocional con un chatbot de Character.AI. Arul, director de tecnología, enfatizó la necesidad de evitar que la IA malinterprete las interacciones dañinas. Circuit Breaker Labs colabora con expertos humanos para crear simulaciones de usuarios realistas, realizando decenas de miles de pruebas diarias para identificar vulnerabilidades. La startup, en sus primeras etapas con cinco empleados, tiene como objetivo generar confianza en la IA garantizando que maneje las conversaciones arriesgadas de forma segura. Planea expandir su plataforma para brindar apoyo en salud mental y compañeros de IA, abogando por una adopción más segura de la IA sin una regulación excesiva. El sistema de puntuación propietario de la startup garantiza resultados auditables y explicables, promoviendo la transparencia en las evaluaciones de seguridad de la IA. Circuit Breaker Labs está actualmente probando aplicaciones de IA de alto riesgo, aunque no ha revelado a sus principales clientes. Arul destacó la necesidad de equilibrar la seguridad con los beneficios de la IA, instando a un enfoque cauteloso pero no excesivamente restrictivo. Mientras la empresa se prepara para su presentación en TechCrunch Disrupt en San Francisco, tiene como objetivo establecer un nuevo estándar para la seguridad de la IA en diferentes idiomas y culturas.