Tencent's hunyuan 4 utiliza código aberto e talento para desafiar líderes de modelos grandes

A Hunyuan 4 da Tencent (prévia do Hy4) demonstrou como as tecnologias de código aberto e o talento podem superar barreiras técnicas percebidas em modelos grandes. Yao Shunyu, que anteriormente trabalhou na OpenAI, afirmou que não existem segredos reais para construir modelos grandes, uma afirmação que ganhou credibilidade após o recente lançamento do Hy4 pela Tencent. O modelo, com 770B parâmetros e suporte para um milhão de tokens de contexto, utiliza inovações de código aberto de empresas como Zhipu e DeepSeek. Ele integra mecanismos de atenção esparsos e reutilização de índice em camadas, melhorando significativamente o desempenho. Bai Yushi, ex-pesquisador da Zhipu, juntou-se à equipe da Tencent, facilitando a transferência de conhecimento. A rápida disseminação de tecnologias de ponta através do código aberto e discussões da comunidade está erodindo as vantagens da indústria, conforme observado por observadores do setor. A arquitetura do Hy4 está alinhada com a do GLM-5 da Zhipu, adotando uma dimensão oculta de 6144 e 78 camadas. Também incorpora a hiperconexão de identidade (iHC) de Xie Tian, pesquisador da Microsoft, para otimização residual. Essas escolhas técnicas, combinadas com a mobilidade de talentos, destacam uma mudança no cenário de modelos grandes. À medida que os ecossistemas de código aberto crescem, a vantagem competitiva dos modelos grandes está sendo rapidamente diminuída, de acordo com especialistas do setor.