Guía para ejecutar el modelo Qwen3.8-27B cuantificado a 2 bits utilizando saluki 27b

Una reciente guía proporciona una descripción detallada de cómo ejecutar la versión cuantificada a 2 bits del modelo Qwen3.8-27B, conocida como Saluki 27B. El modelo, construido utilizando la cuantización GSQ-RCO de ISTA-DASLab, se afirma que mantiene las capacidades de llamada a herramientas al tiempo que reduce el tamaño del modelo a 7,9 GB. La guía compara a Saluki con el modelo completo de 54 GB utilizando el mismo conjunto de datos de 120 tareas. Ambos modelos se han probado en el Berkeley Function Calling Leaderboard, con resultados evaluados utilizando el comprobador de BFCL. The guía describe el proceso de configuración, incluyendo la descarga y verificación de los archivos del modelo, asegurando la compatibilidad con CUDA 12 en las GPU de NVIDIA o los Macs con chip Apple. Destaca las diferencias en los encabezados GGUF y las comparaciones a nivel de bytes, mostrando que Saluki es una versión modificada en lugar de un archivo re-codificado. El análisis revela que la mayoría de los cambios se encuentran en las capas de feed-forward y las puertas de salida, con un impacto mínimo en los mecanismos de atención. La guía también evalúa el rendimiento de ambos modelos en las mismas tareas, enfatizando los compromisos entre velocidad y precisión. Concluye que, aunque Saluki es una versión ligera, la comparación con su modelo padre revela información sobre el proceso de entrenamiento en lugar de simplemente la cuantización. La guía menciona las limitaciones del estudio, incluyendo tamaños de muestra pequeños y decodificación codiciosa, y destaca áreas que no se han probado, como el modelo de tamaño completo y las extensiones de visión.