Underdog presenta saluki 27b: un modelo Qwen3.8-27B de 2 bits que supera al original en la llamada de herramientas

Underdog, una empresa de investigación con sede en Conway, ha lanzado Saluki 27B, una versión comprimida de 2 bits de Qwen3.8-27B, bajo la licencia Apache 2.0. El modelo, que ocupa solo 7,89 GB, está diseñado para agentes locales y funciona de forma eficiente en llama.cpp estándar. La técnica de compresión se ha afinado específicamente para preservar las capacidades de llamada de herramientas, una característica clave para transformar los modelos de chat en agentes funcionales. La versión completa en BF16 del modelo requiere 54 GB de memoria. Saluki 27B compite con modelos como Bonsai 2, que, a pesar de ser más pequeño, logra una retención del 98,2% en 14 pruebas de modo de pensamiento y obtiene una puntuación de 95,00 en AIME25. Sin embargo, Bonsai 2 requiere una versión modificada de llama.cpp, a diferencia de Saluki 27B, que funciona con la implementación estándar. El lanzamiento incluye una tarjeta de modelo en Hugging Face, una página de lanzamiento y un anuncio en X.