Vixhal apresenta qwenGPU: um modelo que integra a execução cuda diretamente nos pesos

O desenvolvedor Vixhal lançou o qwenGPU, um modelo experimental que incorpora uma GPU SIMT diretamente nos pesos do Qwen3.5-2B. Esta implementação permite que as passagens de forward do modelo executem CUDA real, compilado para NVIDIA PTX, testando o conceito de computação ocorrendo dentro de um LLM pré-treinado, em vez de ao lado dele. O componente da GPU consiste em 45 camadas de transformadores não treinadas colocadas antes das 24 camadas nativas do Qwen, utilizando o Gated DeltaNet e as MLPs SwiGLU do Qwen3.5. Este hardware integrado simula uma máquina SIMT de 4 vias com 15 registradores por via e suporta recursos como atomicAdd e ramificações divergentes. O sistema hospedeiro lida com a compilação de CUDA para PTX usando clang, alimentando o programa e as entradas como tokens para o modelo. O modelo, então, gera tokens de execução, como EXEC(b, w), que iniciam a execução do bloco, com os resultados retornados através de registros MEM. Embora a distribuição do próximo token do modelo permaneça muito próxima da original, com uma divergência KL de aproximadamente 7e-4, a implementação é complexa. O início rápido requer Python 3.11+, uv, just, e cerca de 16 GB de memória, e o modo avançado exige clang com o backend NVPTX. O projeto utiliza o compilador de transformadores do Qwenputer de Divyansh Agrawal, que anteriormente compilou um CPU RISC-V de 32 bits para Qwen3.5-4B.