Thinking machines presenta inkling 2 small, un modelo moe esparso de 594b parámetros

Thinking Machines Lab ha presentado Inkling 2 Small, el modelo de segunda generación de su serie Inkling. Este modelo Mixture-of-Experts (MoE) multimodal cuenta con un tamaño total de 594 mil millones de parámetros, con 17 mil millones de parámetros activos. Está diseñado para tareas como la codificación asistida, la visión y el trabajo de conocimiento, aceptando tanto entradas de texto como de imagen, aunque actualmente carece de soporte de audio. En el Índice de Inteligencia Artificial, Inkling 2 Small obtuvo una puntuación de 31, superando significativamente a su predecesor, Inkling Small, que obtuvo una puntuación de 13. The laboratorio confirmó que los pesos del modelo actualmente están cerrados, pero se espera que una versión Apache 2.0 se lance la próxima semana después de las evaluaciones de seguridad externas. Técnicamente, el modelo incorpora un transformador decoder-only de 48 capas, donde cada token se dirige a 8 de los 384 expertos. El componente de visión utiliza un codificador de percepción de 292 millones de parámetros. El desarrollo involucró un régimen de preentrenamiento complejo en cuatro fases, que incluye una ejecución conjunta de RL que duró 9 días en 2048 GPU, superando los 4 x 10^23 FLOP. Además, el laboratorio mejoró la alineación mediante la adición de una recompensa y auto-destilación en política, reduciendo su puntuación interna de comportamiento de 66.8 (en Inkling) a 14.9. El modelo actualmente está disponible en Tinker para el ajuste fino e la inferencia, y Artificial Analysis lo enumera con un precio de 0.30 dólares por 1 millón de tokens de entrada y 1.00 dólares por 1 millón de tokens de salida.