OpenAI lança mentalhealthbench para avaliar a IA em conversas sobre saúde mental

A OpenAI introduziu o MentalHealthBench, um conjunto de dados de avaliação aberto desenvolvido com mais de 80 especialistas em saúde mental licenciados de 22 países, para avaliar as respostas da IA em conversas realistas sobre saúde mental. O conjunto de dados avalia modelos em relação a comportamentos-chave, como segurança, busca de contexto e autonomia do usuário, com critérios ponderados de -10 a +10 com base na importância clínica. Inclui cenários para adultos, adolescentes, cuidadores e profissionais de saúde, abrangendo situações não agudas, de alta acuidade e de emergência. Os especialistas revisaram conversas sintéticas para criar critérios, e as respostas são avaliadas pelo GPT-5.6 Sol. O conjunto de dados também destaca as diferenças entre as perspectivas de especialistas e usuários sobre o suporte da IA útil, enfatizando passos práticos e tom em vez da coleta de contexto. A OpenAI também está aprimorando as respostas do ChatGPT em conversas delicadas e lançando o ChatGPT para adolescentes com proteções adicionais. O MentalHealthBench visa estabelecer um padrão mais elevado para o suporte da IA na saúde mental, permitindo que os pesquisadores identifiquem melhorias e lacunas nos modelos. Faz parte de esforços mais amplos para melhorar o papel da IA na saúde mental, incluindo subsídios para pesquisa e colaboração com organizações como a Partnership on AI. O lançamento do conjunto de dados convida a comunidade a examinar seus métodos e contribuir para os avanços futuros no suporte da saúde mental baseado em IA.