Underdog lança saluki 27b: um modelo Qwen3.8-27B de 2 bits que supera o original em chamadas de ferramentas

A Underdog, uma empresa de pesquisa sediada em Conway, lançou o Saluki 27B, uma versão comprimida de 2 bits do Qwen3.8-27B, sob a licença Apache 2.0. O modelo, que ocupa apenas 7,89 GB, foi projetado para agentes locais e funciona de forma eficiente no llama.cpp padrão. A técnica de compressão foi especificamente otimizada para preservar as capacidades de chamadas de ferramentas, uma funcionalidade crucial para transformar modelos de chat em agentes funcionais. A versão completa em BF16 do modelo requer 54 GB de memória. O Saluki 27B compete com modelos como o Bonsai 2, que, apesar de ser menor, alcança 98,2% de retenção em 14 benchmarks de modo de pensamento e obtém 95,00 em AIME25. No entanto, o Bonsai 2 requer uma versão modificada do llama.cpp, ao contrário do Saluki 27B, que funciona com a implementação padrão. A versão inclui uma Model Card no Hugging Face, uma página de lançamento e um anúncio no X.