Ant group lança modelos base Ling-3.0 tiny e flash com checkpoints completos

A Ant Group, de Bai Ling, lançou oficialmente os modelos base Ling-3.0-tiny e Ling-3.0-flash, juntamente com os checkpoints de pré-treino e de treino intermediário. O lançamento inclui seis checkpoints, abrangendo as fases de pré-treino, treino intermediário e WSM (Warmup-Stable and Merge). Estes checkpoints são concebidos para o pré-treino contínuo, ajuste fino específico para o domínio, otimização de preferências, aprendizagem por reforço, destilação e investigação de sistemas de contexto longo e MoE (Mixture of Experts). Os modelos base ainda não estão alinhados com tarefas de seguimento de instruções e não são recomendados para implantação direta como serviços de chat ou em aplicações críticas de segurança sem treino e avaliação adicionais. O modelo Ling-3.0-tiny-base tem um total de 7,9 mil milhões de parâmetros e 1,3 mil milhões de parâmetros de ativação, obtendo melhores resultados do que o seu antecessor, apesar de uma redução de 50% no total de parâmetros. O modelo Ling-3.0-flash-base, com 124 mil milhões de parâmetros totais e 5,1 mil milhões de parâmetros de ativação, oferece maior capacidade e um design de ativação esparso, tornando-o adequado para aplicações do mundo real. Ambos os modelos demonstram um desempenho forte em codificação, raciocínio complexo e tarefas de contexto longo, mesmo quando comparados com modelos com o dobro ou triplo do seu número de parâmetros. Os modelos estão disponíveis no Hugging Face e no ModelScope, com links fornecidos para cada versão do checkpoint.