Anthropic lança iniciativa de 5 milhões de dólares para estudar o impacto da IA no bem-estar

A Anthropic anunciou um programa de subsídios de 5 milhões de dólares, com o objetivo de financiar pesquisas independentes sobre como a inteligência artificial afeta o bem-estar dos utilizadores. A iniciativa irá apoiar investigadores no desenvolvimento de avaliações de código aberto para avaliar o impacto dos modelos de IA nos utilizadores. Os beneficiários receberão financiamento direto, acesso aos modelos da Anthropic e assistência técnica, mantendo a total independência e publicando o seu trabalho como projetos de código aberto. Os sistemas de IA tornaram-se essenciais na forma como as pessoas trabalham, aprendem e resolvem problemas, e também servem como parceiros de conversa e fontes de apoio emocional. No entanto, a indústria ainda está a desenvolver padrões claros sobre como os modelos devem se comportar em interações sensíveis, como quando os utilizadores procuram companhia ou usam a IA para lidar com crises de saúde mental. A avaliação do bem-estar é particularmente complexa, uma vez que requer uma compreensão contextual, em vez de simples avaliações de precisão. Por exemplo, um utilizador em crise pode não revelar imediatamente intenções de autolesão, e uma resposta que pareça apropriada num contexto pode ser prejudicial noutro. Uma resposta que possa ser razoável para aconselhamento sobre perda de peso pode ser inadequada para alguém com histórico de transtornos alimentares. A Anthropic implementou salvaguardas para identificar tais conversas e garantir respostas apropriadas, e publica pesquisas sobre as interações dos utilizadores com os seus modelos para informar o desenvolvimento e a avaliação destas salvaguardas. A empresa enfatiza que a abordagem correta deve evoluir em conjunto com os modelos de IA e as suas aplicações. A iniciativa de subsídios procura avaliações que sejam rigorosas, transparentes e capazes de informar as salvaguardas e benchmarks futuros. A Anthropic também está a partilhar orientações da sua equipa de Salvaguardas sobre o que constitui uma avaliação robusta do bem-estar, juntamente com os desafios comuns que podem limitar a sua eficácia. As candidaturas para o subsídio devem ser enviadas até 21 de setembro, e os candidatos selecionados serão notificados em 5 de outubro. A empresa também forneceu atualizações adicionais, incluindo melhorias nos salvaguardas biológicos do Claude Fable 5, que reduzem os falsos positivos e minimizam os recuos. Mariano-Florentino (Tino) Cuéllar foi nomeado como o primeiro Diretor Global de Assuntos da Anthropic.