MiDashengLM-Spatial: el nuevo modelo de Xiaomi para la comprensión de audio espacial

Xiaomi ha presentado MiDashengLM-Spatial, un modelo de comprensión de audio espacial de código abierto, como parte de su serie Dasheng. El modelo es completamente de código abierto, con pesos e código de inferencia disponibles bajo la licencia Apache 2.0. Se basa en el modelo MiDashengLM-7B, añadiendo capacidades de percepción espacial para que el modelo pueda no solo entender lo que se está diciendo, sino también de dónde proviene el sonido. Xiaomi afirma que es el primer modelo de comprensión de audio espacial de código abierto de extremo a extremo. Se espera que el modelo mejore la experiencia del usuario en los escenarios de hogar inteligente y cabina de Xiaomi. El sitio web del proyecto, el repositorio de GitHub y la página de HuggingFace proporcionan acceso a la estructura y los pesos del modelo.