Inkling: Modelo Abierto de Casi un Billón de Parámetros con Arquitectura Innovadora

Thinking Machines Lab presentó Inkling, un modelo de lenguaje de código abierto con 975 mil millones de parámetros basado en una arquitectura Mixture-of-Experts dispersa. Solo 41 mil millones de parámetros se activan durante la inferencia, y el modelo admite ventanas de contexto de hasta un millón de tokens. Las comparaciones de rendimiento con GLM-5.2 revelan resultados mixtos—Inkling supera en algunas métricas, como 79,8% en IFBench frente al 73,3% del competidor, pero se queda atrás en tareas de razonamiento y codificación. Los creadores describen a Inkling como un modelo versátil orientado al ajuste fino y especialización posterior, sincronizado con su plataforma Tinker. La arquitectura incorpora varias opciones técnicas poco convencionales: capas de convolución pequeñas insertas en varios puntos, una capa RMSNorm adicional tras la incrustación de tokens, y sesgos de posición relativa aprendidos en lugar del enfoque RoPE más común. En esta configuración, 55 de las 66 capas de decodificador emplean atención local con ventanas de contexto restringidas, una estrategia que complementa el enfoque de posicionamiento relativo.