Inkling: Modelo Open-Weight de Quase 1 Trilião de Parâmetros com Arquitetura Inovadora

A Thinking Machines Lab apresentou Inkling, um novo modelo de linguagem aberto com 975 mil milhões de parâmetros, utilizando uma arquitetura Mixture-of-Experts sparse. Apenas 41 mil milhões dos parâmetros estão ativos durante a inferência, e o modelo suporta uma janela de contexto até um milhão de tokens. Em testes comparativos com GLM-5.2, Inkling demonstra vantagens nalgumas métricas—como 79,8% no IFBench comparado a 73,3% do concorrente—mas fica atrás noutras, particularmente em tarefas de raciocínio e programação. Os criadores descrevem-no como um modelo versátil orientado para fine-tuning e especialização, alinhado com a plataforma Tinker da empresa. A arquitetura distingue-se por várias opções técnicas incomuns: inclui pequenas camadas de convolução entre projeções de atenção, uma camada RMSNorm adicional após embeddings, e um sistema de enviesamento de posição relativa aprendido em vez da abordagem RoPE mais comum. Destas escolhas, 55 das 66 camadas usam atenção local com janelas reduzidas, uma estratégia que complementa o modelo de posicionamento relativo.