PrismML lança o ternary bonsai 2 27b: um modelo compacto com desempenho próximo ao original

A PrismML apresentou o Ternary Bonsai 2 7B, uma variante ponderada em três de Qwen3.8 27B, que mantém 98,2% do seu desempenho, ocupando apenas 5,93 GB. O modelo suporta entradas de texto e imagem, com uma janela de contexto de 262K tokens, e funciona em um laptop de 16 GB ou em uma única GPU de 24 GB usando o fork llama.cpp ou o runtime MLX da PrismML. Mantém a arquitetura de Qwen3.8 27B, com 27,36B parâmetros divididos em componentes de linguagem, embeddings e visão. Os pesos ternários cobrem a maioria das camadas, com apenas 0,0976% em maior precisão. A PrismML relata que as tarefas de visão mantêm 96,3% do desempenho, enquanto o conhecimento e o raciocínio mantêm 96,9%. A eficiência energética do modelo é 40% melhor do que um modelo de 8B em precisão total. A PrismML também destaca o seu desempenho em benchmarks como LiveCodeBench v6 e SWE-bench Verified, onde obtém 90,07 e 60,8, respetivamente, em comparação com os 70,05 e 80,6 do Qwen3.8 27B. O modelo está disponível no formato GGUF, com arquivos separados de 'tower' de visão para entrada de imagem.