Ant group lanza los modelos base Ling-3.0 tiny y flash con puntos de control completos

Ant Group, a través de Bai Ling, ha lanzado oficialmente los modelos base Ling-3.0-tiny y Ling-3.0-flash, junto con sus puntos de control de pre-entrenamiento y entrenamiento intermedio. La liberación incluye seis puntos de control, que cubren las etapas de pre-entrenamiento, entrenamiento intermedio y WSM (Warmup-Stable and Merge). Estos puntos de control están diseñados para el pre-entrenamiento continuo, el ajuste fino específico del dominio, la optimización de preferencias, el aprendizaje por refuerzo, la destilación y la investigación de sistemas de contexto largo y MoE. Los modelos base aún no están optimizados para tareas de seguimiento de instrucciones y no se recomiendan para su implementación directa como servicios de chat o en aplicaciones críticas para la seguridad sin un entrenamiento y una evaluación adicionales. El modelo base Ling-3.0-tiny-base tiene un total de 7.9 mil millones de parámetros y 1.3 mil millones de parámetros de activación, logrando mejores resultados que su predecesor a pesar de una reducción del 50% en el número total de parámetros. El modelo base Ling-3.0-flash-base, con un total de 124 mil millones de parámetros y 5.1 mil millones de parámetros de activación, ofrece mayor capacidad y un diseño de activación dispersa, lo que lo hace adecuado para aplicaciones del mundo real. Ambos modelos demuestran un fuerte rendimiento en tareas de codificación, razonamiento complejo y contexto largo, incluso cuando se comparan con modelos con el doble o el triple de su número de parámetros. Los modelos están disponibles en Hugging Face y ModelScope, con enlaces proporcionados para cada versión de punto de control.