Tencent utiliza hunyuan 4, basado en código abierto y talento, para desafiar a los líderes en modelos grandes

La Hunyuan 4 de Tencent (previsualización de Hy4) ha demostrado cómo las tecnologías de código abierto y el talento pueden superar las barreras técnicas percibidas en los modelos grandes. Yao Shunyu, que anteriormente trabajaba en OpenAI, afirmó que no hay secretos reales para construir modelos grandes, una afirmación que ganó credibilidad tras el reciente lanzamiento de Hy4 por parte de Tencent. El modelo, con 770B parámetros y soporte para un millón de tokens de contexto, aprovecha las innovaciones de código abierto de empresas como Zhipu y DeepSeek. Integra mecanismos de atención dispersa y reutilización de índices en capas, lo que mejora significativamente el rendimiento. Bai Yushi, ex investigador de Zhipu, se unió al equipo de Tencent, facilitando la transferencia de conocimientos. La rápida difusión de tecnologías de vanguardia a través del código abierto y las discusiones de la comunidad está erosionando las ventajas de la industria, según los observadores del sector. La arquitectura de Hy4 se alinea con GLM-5 de Zhipu, adoptando una dimensión oculta de 6144 y 78 capas. También incorpora la hiperconexión de identidad (iHC) de Xie Tian, investigador de Microsoft, para la optimización residual. Estas elecciones técnicas, combinadas con la movilidad del talento, destacan un cambio en el panorama de los modelos grandes. A medida que los ecosistemas de código abierto crecen, la ventaja competitiva de los modelos grandes se está reduciendo rápidamente, según los expertos de la industria.