Vixhal presenta qwenGPU: un modelo que integra la ejecución cuda directamente en los pesos

El desarrollador Vixhal ha lanzado qwenGPU, un modelo experimental que integra directamente una GPU SIMT dentro de los pesos de Qwen3.5-2B. Esta implementación permite que las pasadas hacia adelante del modelo ejecuten CUDA real, compilado en NVIDIA PTX, probando el concepto de que la computación ocurre dentro de un LLM preentrenado en lugar de junto con él. El componente de GPU consta de 45 capas de transformador sin entrenar colocadas antes de las 24 capas nativas de Qwen, utilizando el Gated DeltaNet y las MLPs SwiGLU de Qwen3.5. Este hardware integrado simula una máquina SIMT de 4 carriles con 15 registros por carril y que soporta funciones como atomicAdd y ramas divergentes. El sistema anfitrión gestiona la compilación de CUDA a PTX utilizando clang, alimentando el programa e las entradas como tokens al modelo. El modelo genera entonces tokens de ejecución, como EXEC(b, w), que desencadenan la ejecución de bloques, con los resultados devueltos a través de registros MEM. Aunque la distribución de la siguiente token del modelo permanece muy cerca de la original, con una divergencia KL de aproximadamente 7e-4, la implementación es compleja. La configuración inicial requiere Python 3.11+, uv, just, y aproximadamente 16 GB de memoria, y el modo avanzado requiere clang con el backend NVPTX. El proyecto utiliza el compilador de transformadores de Qwenputer de Divyansh Agrawal, que anteriormente compiló una CPU RISC-V de 32 bits en Qwen3.5-4B.