PrismML lanza ternary bonsai 2 27b: un modelo compacto con un rendimiento similar al original

PrismML ha presentado Ternary Bonsai 2 27B, una variante de peso tridimensional de Qwen3.8 27B, que conserva el 98,2 % de su rendimiento mientras ocupa solo 5,93 GB. El modelo admite entradas de texto e imágenes, con una ventana de contexto de 262K tokens, y funciona en una portátil de 16 GB o en una única GPU de 24 GB utilizando la versión bifurcada de llama.cpp o el entorno de tiempo de ejecución MLX de PrismML. Mantiene la arquitectura de Qwen3.8 27B, con 27,36B parámetros divididos en componentes de lenguaje, incrustaciones y visión. Los pesos tridimensionales cubren la mayoría de las capas, con solo el 0,0976 % en mayor precisión. PrismML informa que las tareas de visión conservan el 96,3 % de su rendimiento, mientras que el conocimiento y el razonamiento conservan el 96,9 %. La eficiencia energética del modelo es un 40 % mejor que un modelo de 8B de precisión completa. PrismML también destaca su rendimiento en benchmarks como LiveCodeBench v6 y SWE-bench Verified, donde obtiene 90,07 y 60,8 respectivamente, en comparación con los 70,05 y 80,6 de Qwen3.8 27B. El modelo está disponible en formato GGUF, con archivos separados de 'tower' de visión para la entrada de imágenes.