TII apresenta o Falcon-ASR: modelo de reconhecimento de fala em árabe de 1,6B parâmetros alcança 20,92% de taxa de erro de palavras

O Technology Innovation Institute (TII) em Abu Dhabi lançou o Falcon-ASR, um modelo de reconhecimento de fala em árabe de 1,6B parâmetros que também suporta inglês, francês, espanhol e português. O modelo alcança uma taxa de erro de palavras (WER) média de 20,92% em seis conjuntos de teste em árabe, superando o melhor resultado anterior na tabela de classificação do TII em 2,25 pontos. O Falcon-ASR opera sem a necessidade de especificar o idioma e gera texto na língua falada, além de fornecer marcações de tempo em nível de palavra para aplicações como legendagem e anotações de reuniões. TII treinou o Falcon-ASR em árabe emiti, árabe padrão moderno (MSA) e outros dialetos do Golfo, juntamente com inglês, utilizando dados de áudio aumentados que incluem ruído de fundo, fala sobreposta e reverberação de sala. O modelo é baseado na pesquisa Falcon3-Audio do TII, que utiliza modelos de linguagem grandes ajustados por instruções e codificadores Whisper. A avaliação interna do TII também inclui um conjunto de teste em árabe emit, complementando o subconjunto da UE do conjunto de dados Casablanca. Na tabela de classificação Open ASR do Hugging Face, o Falcon-ASR apresenta uma WER média de 5,74% em sete conjuntos de teste em inglês, com pontuações que variam de 1,75% em LibriSpeech a 11,86% em Earnings-22. Embora o TII não tenha publicado pontuações para francês, espanhol e português, o desempenho do modelo em árabe e inglês destaca seu potencial para aplicações baseadas em voz.