Alibaba presenta Qwen3.8-Flash-Next: un modelo multimodal moe de 125b con 6b de parámetros activos

El equipo de Qwen de Alibaba ha presentado Qwen3.8-Flash-Next, un nuevo modelo multimodal Mixture-of-Experts (MoE) de código abierto diseñado para la eficiencia de costes por token. El modelo combina una columna vertebral de 125B con una tabla de incrustación de N-gramas de 51B y un módulo de predicción de múltiples tokens de 3B, lo que supone un total de 180B de parámetros en disco. Solo se activan 6B de parámetros por token, lo que supone una reducción significativa en la demanda computacional. Este lanzamiento se presenta como una vista previa temprana de la arquitectura que servirá de base a Qwen4, de forma similar a como Qwen3-Next sirvió como precursor de Qwen3.5. El modelo incorpora varias innovaciones clave, incluyendo un híbrido de Gated DeltaNet y Qwen Sparse Attention, Gated Residual, N-gram Embedding y el optimizador Muon. Se informa que los costes de entrenamiento son aproximadamente un noveno de los de Qwen3.7-Plus. El punto de control FP8 tiene un tamaño de 172.78 GiB, mientras que la versión BF16 tiene un tamaño de 335.28 GiB. Según las recetas de vLLM, TP2 es la configuración FP8 validada mínima en GB300, con TP4 recomendado. En un nodo de 8×H200, se recomienda TEP8, ya que TP8 puro es incompatible con los bloques de cuantificación de 128 anchos del punto de control. La activación dispersa reduce los requisitos computacionales sin afectar al almacenamiento. Qwen3.8-Flash-Next logra un rendimiento sólido en varios puntos de referencia, incluyendo 58.7 en DeepSWE 1.1, 62.5 en SWE-bench Pro, 81.0 en SWE-bench Multilingual y 91.9 en LiveCodeBench v6. En tareas de agente, obtiene 73.9 en CoWorkBench, 55.7 en JobBench y 73.5 en Toolathlon Verified. Los resultados multimodales incluyen 84.5 en AndroidWorld, 76.6 en LVBench, 88.5 en RealWorldQA y 95.7 en MathVision con intérprete de código. Sin embargo, no es el mejor en todas las áreas, con Claude Opus 4.6 (Max) obteniendo 40.0 en HLE en comparación con los 35.9 de Qwen, y DeepSeek-V4-Flash-0731 liderando NL2Repo-Bench en 54.2 en comparación con 48.1. El razonamiento de Frontier sigue siendo un desafío. El modelo admite el servicio a través de vLLM, SGLang, TokenSpeed, transformers serve y llama.cpp para la cuantificación GGUF. El ajuste fino está disponible a través de Unsloth, Swift y LLaMA-Factory. Ya está impulsando el modo 'Standard' en QwenWork e integra con Qwen Code. El modelo predeterminado es el modo de pensamiento, con reasoning_effort configurado en xhigh, medium o low. Qwen recomienda una temperatura de 1.0 y un valor de top_p de 0.95 para el modo de pensamiento, y una temperatura de 0.7 con un valor de top_p de 0.80 para el modo de instrucción. La longitud del contexto es de 262,144 tokens de forma nativa, extensible a 1,000,000 con YaRN. El modelo informa de aceleraciones de hasta 7.6× en el prefill y 4.9× en la decodificación con el kernel QSA, mientras que los libros de cocina de SGLang y las recetas de vLLM citan 10.2× y 6.6× respectivamente. Qwen también afirma un aumento de 8.6× en el rendimiento del prefill en comparación con Qwen3.7-Plus a una tasa de golpe de caché de prefijo del 90%.