Investigadores de mit introducen la programación en el espacio de pesos, mejorando el rendimiento de Qwen3.5 en un 6x con ajustes mínimos de parámetros

Los investigadores del MIT CSAIL han presentado una técnica novedosa llamada Programación en el espacio de pesos. Este método permitió a OpenAI's GPT-6 Astra modificar los pesos de la red neuronal del modelo Qwen3.5-0.8B de Alibaba Cloud, logrando un importante salto de rendimiento en la prueba MATH-500, pasando del 7.9% al 48.1%, un aumento de seis veces. Esto se logró ajustando solo aproximadamente el 0.016% de los parámetros del modelo, evitando los bucles de entrenamiento tradicionales como el descenso de gradiente. El estudio, liderado por Rikiya Takehi, Jayden Teoh, Alex Zhang y Omar Khattab, implicó que Astra identificó un patrón repetitivo en el bucle de inferencia del modelo en las capas MLP 15 y 19. Al modificar 131,072 pesos, el equipo redujo drásticamente el número de veces que el modelo alcanzaba el límite de 32,768 tokens, mejorando el seguimiento de instrucciones en IFEval del 21.0% al 62.3%. Aunque el proceso no utilizó la retropropagación, requirió que Astra operara dentro de un entorno de Python para el análisis y hasta 50 rondas de inferencia hacia adelante. Un experimento de control utilizando Gemma 3 270M demostró que la técnica no podía crear capacidades que el modelo carecía, sino que solo eliminaba las limitaciones existentes. La investigación sugiere que este enfoque ofrece nuevas vías para la interpretabilidad de las redes neuronales.