Baidu lança o modelo base ernie 5.5 com 280 bilhões de parâmetros, disponibilizando os pesos

A Baidu lançou publicamente o modelo ERNIE-5.5-Flash-Base, disponibilizando os pesos do seu modelo pré-treinado. Este modelo de linguagem Mixture-of-Experts (MoE) esparso possui um total de 280 bilhões de parâmetros, ativando apenas 14 bilhões por token, e foi pré-treinado a partir do zero em 33,5 trilhões de tokens. Embora o modelo base seja fornecido como ponto de partida para a pesquisa, a Baidu afirmou que uma versão posteriormente ajustada, ERNIE 5.5 Flash, seguirá. O treinamento do modelo utilizou o otimizador Muon e a precisão mista FP8, com um contexto de treinamento máximo de 128 mil tokens, embora o suporte para inferência e ajuste fino seja de até 1 milhão de tokens. O corpus de treinamento enfatizou três áreas: dados de código, que incluíam dados de evolução de software; dados de longa duração, com documentos naturais longos e QA sintéticos; e curadoria especializada de dados. Tecnicamente, o design do sistema apresentava um otimizador Muon distribuído que combina a comunicação entre máquinas para parâmetros densos e MoE, reduzindo a latência. O ERNIE-5.5-Flash-Base foi avaliado em 30 benchmarks que abrangem sete capacidades, incluindo código e contexto longo, e seu desempenho foi comparado com DeepSeek-V4-Flash-Base, Hy3-preview-Base e MiMo-V2.5-Base.