PrismML lanza modelos de IA ternary bonsai 2 con mayor eficiencia para dispositivos móviles

PrismML anunció el 15 de octubre el lanzamiento de la serie Ternary Bonsai 2, que incluye modelos de 2B, 4B y 9B parámetros. Estos modelos están diseñados para la ejecución local de agentes de IA en dispositivos móviles, PC y wearables, con capacidades que incluyen razonamiento, reconocimiento de imágenes e invocación de herramientas. Basados en la base Qwen 3.5 de Alibaba, los modelos utilizan una representación de pesos ternarios con valores de -1, 0 y +1, lo que reduce el almacenamiento a aproximadamente 0,43 GB, 0,95 GB y 2 GB, respectivamente. El modelo de 9B demostró una reducción del 40% en el uso de tokens para la ejecución de instrucciones estándar y tareas matemáticas diarias. En el iPhone 18 Pro Max, el modelo de 9B alcanza hasta 34 tokens por segundo, mientras que el modelo de 2B alcanza 120 tokens por segundo. Los desarrolladores pueden implementar los modelos utilizando llama.cpp en GPUs NVIDIA o MLX en Mac, iPhone e iPad, y los pesos están disponibles bajo la licencia Apache 2.0.