Guia para executar o modelo Qwen3.8-27B quantizado em 2 bits usando o saluki 27b

Um tutorial recente fornece um guia detalhado para executar a versão quantizada em 2 bits do modelo Qwen3.8-27B, conhecido como Saluki 27B. O modelo, construído com a quantização GSQ-RCO da ISTA-DASLab, afirma manter as capacidades de chamada de ferramentas, reduzindo o tamanho do modelo para 7,9 GB. O tutorial compara o Saluki com o modelo completo de 54 GB usando o mesmo benchmark de 120 tarefas. Ambos os modelos são testados no Berkeley Function Calling Leaderboard, com resultados avaliados usando o checker do BFCL. A guia descreve o processo de configuração, incluindo o download e a verificação dos arquivos do modelo, garantindo a compatibilidade com CUDA 12 em GPUs NVIDIA ou Macs com Apple-silicon. Destaca as diferenças nos cabeçalhos GGUF e comparações de nível de byte, mostrando que o Saluki é uma versão modificada, e não um arquivo re-codificado. A análise revela que a maioria das alterações estão nas camadas feed-forward e nas portas de saída, com um impacto mínimo nos mecanismos de atenção. O tutorial também avalia o desempenho de ambos os modelos nas mesmas tarefas, enfatizando os compromissos entre velocidade e precisão. Conclui que, embora o Saluki seja uma versão leve, a comparação com o modelo pai revela informações sobre o processo de treinamento, e não apenas a quantização. A guia menciona as limitações do estudo, incluindo tamanhos de amostra pequenos e decodificação gananciosa, e destaca áreas não testadas, como o modelo de tamanho completo e os complementos de visão.