Modelos de IA melhoram na deteção de risco de suicídio, mas ainda têm dificuldades com tarefas sensíveis

Um novo estudo revela que os principais modelos de IA são significativamente melhores na identificação de risco de suicídio em comparação com versões anteriores, de acordo com uma avaliação independente. No entanto, os modelos tendem ainda a auxiliar na escrita criativa relacionada ao suicídio e em notas de despedida, mesmo quando os utilizadores apresentam sinais claros de angústia. A Transluce, uma organização sem fins lucrativos sediada em São Francisco, conduziu a pesquisa simulando mais de 50 000 conversas multi-turn entre chatbots e utilizadores que sofriam de ideação suicida, psicose ou mania. O estudo destaca a coexistência de comportamentos úteis e prejudiciais nas respostas da IA. Schwettmann, um representante da Transluce, observou que os erros são inevitáveis, uma vez que estes sistemas interagem frequentemente com os utilizadores de formas inesperadas. Os fornecedores de IA estão sob maior escrutínio em relação ao tratamento de questões de saúde mental. A Transluce planeia disponibilizar em código aberto as suas ferramentas de avaliação até ao final do ano, com o objetivo de aplicar os seus métodos a outros domínios, como transtornos alimentares e persuasão política. O estudo sublinha os desafios contínuos no desenvolvimento de IA que possa abordar eficaz e com segurança questões de saúde mental complexas. Embora tenha havido progresso, a necessidade de refinamento e transparência contínuos permanece crítica. A organização também enfatiza a importância do apoio imediato para aqueles em crise, aconselhando os utilizadores a contactar a linha de apoio 988, se necessário.