TII presenta Falcon-ASR: el modelo de reconocimiento de voz en árabe de 1.6B parámetros alcanza una tasa de error de palabras del 20.92%

El Instituto de Innovación Tecnológica (TII) en Abu Dhabi ha lanzado Falcon-ASR, un modelo de reconocimiento de voz en árabe de 1.6B parámetros que también admite inglés, francés, español y portugués. El modelo alcanza una tasa de error de palabras (WER) promedio del 20.92% en seis conjuntos de prueba en árabe, superando al mejor resultado anterior en el ranking de TII en 2.25 puntos. Falcon-ASR funciona sin necesidad de indicar el idioma y genera texto en el idioma hablado, además de proporcionar marcas de tiempo a nivel de palabra para aplicaciones como subtítulos y notas de reuniones. TII entrenó Falcon-ASR con árabe emiratí, árabe estándar moderno (MSA) y otros dialectos del Golfo, junto con inglés, utilizando datos de audio mejorados que incluyen ruido de fondo, habla superpuesta y reverberación de la sala. El modelo se basa en la investigación Falcon3-Audio de TII, que aprovecha modelos de lenguaje grandes afinados con instrucciones y codificadores Whisper. La evaluación interna de TII también incluye un conjunto de prueba emiratí privado, complementando el subconjunto de la UE del conjunto de datos Casablanca. En el ranking de reconocimiento de voz abierto de Hugging Face, Falcon-ASR informa de una WER promedio del 5.74% en siete conjuntos de prueba en inglés, con puntuaciones que oscilan entre el 1.75% en LibriSpeech y el 11.86% en Earnings-22. Aunque TII no publicó puntuaciones para francés, español y portugués, el rendimiento del modelo en árabe y en inglés destaca su potencial para aplicaciones impulsadas por la voz.