Nuevo benchmark revela las limitaciones de los modelos de audio grandes en la memoria de detalles del habla

Un equipo conjunto de la Universidad de Melbourne y la Universidad de Nueva Gales del Sur ha presentado VoxMem, un benchmark diseñado para evaluar la capacidad de los modelos de audio grandes para recordar quién está hablando, junto con el tono y los sonidos de fondo. El benchmark destaca dos principales deficiencias en los métodos de evaluación actuales: se centran únicamente en el texto transcrito y no logran aislar el impacto de la duración de la conversación. VoxMem utiliza un método de clasificación bidimensional, que cubre 15 combinaciones de evidencia acústica y operaciones de memoria. Incluye 3.196 instancias de evaluación y 34.743 conversaciones de audio, lo que supone un total de aproximadamente 177 horas de audio. Las pruebas de 15 modelos de audio grandes de uso común mostraron que ninguno superó una tasa de precisión del 40% en una longitud de contexto de alrededor de 32K. Los modelos tuvieron mejor rendimiento al recordar lo que se dijo que la identidad del hablante, el tono, las emociones y los sonidos ambientales. La precisión para rastrear el tono y los sonidos de fondo fue particularmente baja. A medida que aumentaba la duración de la conversación, la precisión para todos los tipos de información disminuía.