Anthropic lanza una iniciativa de 5 millones de dólares para estudiar el impacto de la IA en el bienestar

Anthropic ha anunciado un programa de subvenciones de 5 millones de dólares destinado a financiar la investigación independiente sobre cómo la inteligencia artificial afecta al bienestar de los usuarios. La iniciativa apoyará a los investigadores en el desarrollo de evaluaciones de código abierto para evaluar el impacto de los modelos de IA en quienes los utilizan. Los beneficiarios recibirán financiación directa, acceso a los modelos de Anthropic y asistencia técnica, manteniendo al mismo tiempo la independencia total y publicando su trabajo como proyectos de código abierto. Los sistemas de IA se han convertido en algo esencial en la forma en que las personas trabajan, aprenden y resuelven problemas, y también sirven como compañeros conversacionales y fuentes de apoyo emocional. Sin embargo, la industria aún está desarrollando estándares claros sobre cómo deben comportarse los modelos en interacciones sensibles, como cuando los usuarios buscan compañía o utilizan la IA para afrontar crisis de salud mental. La evaluación del bienestar es particularmente compleja, ya que requiere una comprensión contextual en lugar de simples evaluaciones de precisión. Por ejemplo, un usuario en estado de estrés puede no revelar inmediatamente sus intenciones de autolesión, y una respuesta que parezca apropiada en un contexto puede ser perjudicial en otro. Una respuesta que podría ser razonable para ofrecer consejos sobre pérdida de peso podría ser inapropiada para alguien con antecedentes de trastornos alimentarios. Anthropic ha implementado salvaguardas para identificar estas conversaciones y garantizar respuestas apropiadas, y publica investigaciones sobre las interacciones de los usuarios con sus modelos para informar el desarrollo y la evaluación de estas salvaguardas. La empresa enfatiza que el enfoque correcto debe evolucionar junto con los modelos de IA y sus aplicaciones. El programa de subvenciones busca evaluaciones que sean rigurosas, transparentes y capaces de informar sobre salvaguardas y estándares futuros. Anthropic también está compartiendo orientación de su equipo de Salvaguardas sobre lo que constituye una evaluación de bienestar robusta, junto con los desafíos comunes que pueden limitar su eficacia. Las solicitudes para la subvención deben presentarse antes del 21 de septiembre, y los solicitantes seleccionados serán notificados el 5 de octubre. La empresa también proporcionó actualizaciones adicionales, incluidas mejoras en las salvaguardas biológicas de Claude Fable 5, que reducen los falsos positivos y minimizan los fallos. Mariano-Florentino (Tino) Cuéllar ha sido nombrado el primer Director de Asuntos Globales de Anthropic.