Aliyun presenta Qwen3.8-Flash de código abierto: modelo moe de 125b de parámetros con un coste de entrenamiento de 1/9

El equipo de Tongyi de Aliyun ha lanzado el modelo Qwen3.8-Flash, junto con los pesos de código abierto para Qwen3.8-Flash-Next, que sirve como prototipo para la próxima serie Qwen4. El modelo es un modelo MoE multimodal con un número principal de parámetros de 125B y un embedding de N-gram adicional de 51B, activando 6B de parámetros por token. Soporta hasta 262.144 tokens de contexto y puede extenderse hasta 1 millón de tokens utilizando YaRN. El mecanismo de atención combina GDN y QSA, logrando hasta 7,6x y 4,9x de aceleración en las fases de prellen y decodificación para secuencias de 1 millón de tokens. El mecanismo residual introduce Gated Residual (GR), expandiendo los flujos residuales a cuatro ramas paralelas con control dinámico de la puerta. La capa de embedding utiliza 51B de parámetros para el embedding de N-gram, que puede descargarse en la memoria del host para la pre-recuperación asíncrona. La optimización emplea el optimizador Muon con estrategias adaptadas para la ortogonalidad, la división de parámetros y la división de matrices, y se ha ajustado una nueva ley de escalado para la arquitectura. En comparación con Qwen3.7-Plus, el coste de entrenamiento de Qwen3.8-Flash es de aproximadamente 1/9, pero muestra un mejor rendimiento en tareas de codificación y oficina. El modelo Qwen3.8-Flash-Next-Base logra los mejores resultados en ocho de los 14 benchmarks, incluyendo MMLU-Pro, SuperGPQA, BBH, SWEBench-Pretrain, MGSM y MMMU. El modelo estará disponible en la plataforma Qwen AI con precios de API de 1 yuan por millón de tokens de entrada y 3 yuan por millón de tokens de salida. Los pesos del modelo y la versión cuantificada en FP8 se publicaron en Hugging Face y ModelScope el 26 de agosto de 2024 a las 23:00 UTC, con Qwen3.8-Flash-Next configurado por defecto para 1 millón de contexto e incluyendo herramientas oficiales. El informe técnico y el blog están disponibles en los enlaces proporcionados.