Laboratórios de IA chineses desenvolvem modelos de alto desempenho semelhantes

Dois laboratórios de IA chineses, Z.ai e a equipa Qwen da Alibaba, desenvolveram independentemente modelos de alto desempenho de código aberto com arquiteturas semelhantes. O GLM-5.3-Flash da Z.ai, um modelo multimodal MoE de 320B de parâmetros com 18B de parâmetros ativos, foi lançado juntamente com o Qwen3.8-Flash-Next da Qwen, um modelo de 125B de parâmetros com 6B de parâmetros ativos. Ambos os modelos utilizam uma combinação híbrida de 3:1 de atenção linear e completa, indexadores comprimidos com um limite de 2048 tokens e quatro ramos residuais com gating. A Z.ai afirma que o GLM-5.3-Flash supera as versões anteriores e rivaliza com o Claude Opus 4.8 nos testes de codificação. A Qwen relata que o treino do Qwen3.8-Flash-Next exigiu cerca de um nono do poder computacional do seu antecessor. Ambos os modelos utilizam o otimizador Muon e partilham elementos de design semelhantes, embora diferem nas incorporações de posição rotativas. O MiniMax permanece um dissidente notável, utilizando atenção softmax completa nos seus modelos. Os elementos de design partilhados sugerem a troca de conhecimentos entre os modelos de código aberto chineses, com a DeepSeek e a Moonshot AI a contribuir com componentes-chave. O GLM-5.3-Flash da Z.ai utiliza a atenção Kimi Delta, enquanto a Qwen utiliza o Gated DeltaNet. Ambos os modelos comprimem o contexto em 4x antes de avaliar e limitam a atenção a 2048 tokens. A Qwen atribui o seu design QSA um aumento significativo na velocidade. Apesar das semelhanças, o modelo M3 da MiniMax utiliza uma abordagem diferente, destacando os debates em curso no campo. As fontes incluem o Hugging Face, o GitHub e artigos académicos. O lançamento dos modelos marca um passo significativo na evolução das arquiteturas de IA em grande escala, com implicações para a eficiência e o desempenho.