Aliyun apresenta Qwen3.8-Flash de código aberto: modelo moe de 125b de parâmetros com custo de treinamento de 1/9

A equipe Tongyi da Aliyun lançou o modelo Qwen3.8-Flash, juntamente com os pesos de código aberto para Qwen3.8-Flash-Next, que serve como um protótipo para a próxima série Qwen4. O modelo é um modelo MoE multimodal com um número principal de parâmetros de 125B e um adicional de 51B de N-gram Embedding, ativando 6B de parâmetros por token. Suporta até 262.144 tokens de contexto e pode ser estendido para 1M de tokens usando o YaRN. O mecanismo de atenção combina GDN e QSA, alcançando até 7,6x e 4,9x de aceleração nas fases de preenchimento e decodificação para sequências de 1M de tokens. O mecanismo residual introduz o Gated Residual (GR), expandindo os fluxos residuais para quatro ramos paralelos com controle dinâmico da porta. A camada de embedding usa 51B de parâmetros para N-gram Embedding, que podem ser descarregados para a memória do host para preenchimento assíncrono. A otimização emprega o otimizador Muon com estratégias adaptadas para ortogonalidade, divisão de parâmetros e divisão de matriz, e uma nova lei de escala foi ajustada para a arquitetura. Comparado com o Qwen3.7-Plus, o custo de treinamento do Qwen3.8-Flash é de aproximadamente 1/9, mas apresenta um desempenho mais forte em tarefas de codificação e escritório. O modelo Qwen3.8-Flash-Next-Base alcança os melhores resultados em oito dos 14 benchmarks, incluindo MMLU-Pro, SuperGPQA, BBH, SWEBench-Pretrain, MGSM e MMMU. O modelo estará disponível na plataforma Qwen AI com preços de API de 1 yuan por milhão de tokens de entrada e 3 yuan por milhão de tokens de saída. Os pesos do modelo e a versão quantizada em FP8 foram lançados no Hugging Face e no ModelScope em 26 de agosto de 2024, às 23:00 UTC, com o Qwen3.8-Flash-Next configurado para 1M de contexto e incluindo ferramentas oficiais. O relatório técnico e o blog estão disponíveis nos links fornecidos.