Alibaba apresenta o Qwen3.8-Flash-Next: um modelo multimodal moe de 125b com 6b de parâmetros ativos

A equipe Qwen da Alibaba apresentou o Qwen3.8-Flash-Next, um novo modelo multimodal Mixture-of-Experts (MoE) de código aberto, projetado para eficiência de custo por token. O modelo combina uma estrutura de 125B com uma tabela de incorporação N-gram de 51B e um módulo de previsão de múltiplos tokens de 3B, totalizando 180B de parâmetros em disco. Apenas 6B de parâmetros são ativados por token, representando uma redução significativa na demanda computacional. Este lançamento é apresentado como uma prévia inicial da arquitetura que formará a base do Qwen4, de forma semelhante a como o Qwen3-Next serviu como precursor do Qwen3.5. O modelo incorpora várias inovações-chave, incluindo uma combinação híbrida de Gated DeltaNet e Qwen Sparse Attention, Gated Residual, N-gram Embedding e o otimizador Muon. Os custos de treinamento são relatados como aproximadamente um nono dos custos para o Qwen3.7-Plus. O ponto de verificação FP8 tem 172,78 GiB, enquanto a versão BF16 tem 335,28 GiB. De acordo com as receitas vLLM, o TP2 é a configuração FP8 mínima validada no GB300, com o TP4 recomendado. Em um nó 8×H200, recomenda-se o TEP8, pois o TP8 simples é incompatível com os blocos de quantização de 128 de largura do ponto de verificação. A ativação esparsa reduz os requisitos computacionais sem afetar o armazenamento. O Qwen3.8-Flash-Next alcança um desempenho forte em vários benchmarks, incluindo 58,7 em DeepSWE 1.1, 62,5 em SWE-bench Pro, 81,0 em SWE-bench Multilingual e 91,9 em LiveCodeBench v6. Em tarefas de agente, obtém 73,9 em CoWorkBench, 55,7 em JobBench e 73,5 em Toolathlon Verified. Os resultados multimodais incluem 84,5 em AndroidWorld, 76,6 em LVBench, 88,5 em RealWorldQA e 95,7 em MathVision com interpretador de código. No entanto, não lidera em todas as áreas, com o Claude Opus 4.6 (Max) alcançando 40,0 em HLE em comparação com os 35,9 do Qwen, e o DeepSeek-V4-Flash-0731 liderando em NL2Repo-Bench em 54,2 em comparação com 48,1. O raciocínio de Frontier permanece um desafio. Aplica-se ao serviço através de vLLM, SGLang, TokenSpeed, transformers serve e llama.cpp para quantização GGUF. O ajuste fino está disponível através de Unsloth, Swift e LLaMA-Factory. Já alimenta o modo 'Standard' no QwenWork e integra-se com o Qwen Code. O modelo padrão para o modo de raciocínio, com reasoning_effort definido como xhigh, medium ou low. O Qwen recomenda uma temperatura de 1,0 e top_p de 0,95 para o modo de raciocínio, e uma temperatura de 0,7 com top_p de 0,80 para o modo de instrução. A extensão de contexto é de 262.144 tokens nativamente, estendendo-se para 1.000.000 com YaRN. O modelo relata até 7,6× aceleração de preenchimento e 4,9× de decodificação com o kernel QSA, enquanto o livro de receitas SGLang e as receitas vLLM citam 10,2× e 6,6×, respectivamente. O Qwen também afirma um aumento de 8,6× no throughput de preenchimento em relação ao Qwen3.7-Plus, com uma taxa de acerto de cache de prefixo de 90%.