PrismML lança modelos de IA ternary bonsai 2 com eficiência aprimorada para dispositivos móveis

A PrismML anunciou, em 15 de outubro, o lançamento da série Ternary Bonsai 2, que inclui modelos com 2B, 4B e 9B parâmetros. Estes modelos são concebidos para a execução local de agentes de IA em dispositivos móveis, PCs e dispositivos vestíveis, com capacidades que incluem raciocínio, reconhecimento de imagem e invocação de ferramentas. Baseados na base Qwen 3.5 da Alibaba, os modelos utilizam uma representação de peso ternário com valores de -1, 0 e +1, reduzindo o armazenamento para aproximadamente 0,43 GB, 0,95 GB e 2 GB, respetivamente. O modelo de 9B demonstrou uma redução de 40% no uso de tokens para a execução de instruções e tarefas matemáticas diárias. No iPhone 18 Pro Max, o modelo de 9B atinge até 34 tokens por segundo, enquanto o modelo de 2B atinge 120 tokens por segundo. Os desenvolvedores podem implantar os modelos usando llama.cpp em GPUs NVIDIA ou MLX em Mac, iPhone e iPad, com pesos disponíveis sob a licença Apache 2.0.