Laboratorios de IA chinos desarrollan modelos de alto rendimiento similares

Dos laboratorios de IA chinos, Z.ai y el equipo de Qwen de Alibaba, han desarrollado de forma independiente modelos de código abierto de alto rendimiento con arquitecturas similares. GLM-5.3-Flash de Z.ai, un modelo multimodal MoE de 320B de parámetros con 18B de parámetros activos, se lanzó junto con Qwen3.8-Flash-Next de Qwen, un modelo de 125B de parámetros con 6B de parámetros activos. Ambos modelos utilizan una combinación híbrida de 3:1 de atención lineal y completa, indexadores comprimidos con un límite de 2048 tokens y cuatro ramas residuales con compuertas. Z.ai afirma que GLM-5.3-Flash supera a las versiones anteriores y compite con Claude Opus 4.8 en las pruebas de codificación. Qwen informa que el entrenamiento de Qwen3.8-Flash-Next requirió aproximadamente una novena parte del poder de cómputo de su predecesor. Ambos modelos utilizan el optimizador Muon y comparten elementos de diseño similares, aunque difieren en las incrustaciones de posición rotatoria. MiniMax sigue siendo un destacado disidente, utilizando atención softmax completa en sus modelos. Los elementos de diseño compartidos sugieren una polinización cruzada entre los modelos de código abierto chinos, con DeepSeek y Moonshot AI contribuyendo con componentes clave. GLM-5.3-Flash de Z.ai utiliza la atención Kimi Delta, mientras que Qwen emplea Gated DeltaNet. Ambos modelos comprimen el contexto en 4x antes de la puntuación y limitan la atención a 2048 tokens. Qwen atribuye sus ganancias de velocidad al diseño QSA. A pesar de las similitudes, el modelo M3 de MiniMax utiliza un enfoque diferente, lo que destaca los debates en curso en el campo. Las fuentes incluyen Hugging Face, GitHub y artículos académicos. El lanzamiento de los modelos marca un paso significativo en la evolución de las arquitecturas de IA a gran escala, con implicaciones para la eficiencia y el rendimiento.