Novo benchmark revela limitações de modelos de áudio grandes na recordação de detalhes da fala

Uma equipe conjunta da Universidade de Melbourne e da Universidade de Nova Gales do Sul apresentou o VoxMem, um benchmark projetado para avaliar a capacidade de modelos de áudio grandes de lembrar quem está falando, juntamente com o tom e os sons de fundo. O benchmark destaca duas falhas importantes nos métodos de avaliação atuais: eles se concentram apenas no texto transcrito e não conseguem isolar o impacto do comprimento da conversa. O VoxMem utiliza um método de classificação bidimensional, abrangendo 15 combinações de evidências acústicas e operações de memória. Ele inclui 3.196 instâncias de avaliação e 34.743 conversas de áudio, totalizando cerca de 177 horas de áudio. Testes em 15 modelos de áudio grandes de destaque mostraram que nenhum excedeu uma taxa de precisão de 40% em um comprimento de contexto de cerca de 32K. Os modelos tiveram melhor desempenho na recordação do que foi dito do que na identidade do falante, tom, emoção e sons ambientais. A precisão no rastreamento do tom e dos sons de fundo foi particularmente baixa. À medida que o comprimento da conversa aumentava, a precisão para todos os tipos de informações diminuiu.