PrismML: modelos de linguagem compactos visam revolucionar o acesso à IA

A PrismML, uma startup fundada por pesquisadores do Caltech e liderada pelo professor Babak Hassibi, está desenvolvendo modelos de linguagem grandes (LLMs) altamente compactos que podem ser executados em PCs e smartphones. Seu modelo mais recente, Bonsai 2 27B, reduz a pegada de memória do Qwen3.8 27B da Alibaba em 9x a 10x, ocupando apenas 5,9 GB. Hassibi afirma que o modelo mantém 98% do desempenho de referência do Qwen, em comparação com 95% na versão anterior. A startup também conta com Ion Stoica, co-fundador da Databricks, como consultor. A técnica de compressão da PrismML, chamada de 'pesos ternários', simplifica o armazenamento de dados do modelo, utilizando três valores em vez de 16 bits. A empresa planeja aplicar isso a modelos maiores nos próximos meses, com o objetivo de manter um bom desempenho. Stoica destaca o potencial da IA na ponta, enfatizando a privacidade e a eficiência de custo. Investidores, incluindo Khosla Ventures e Caltech, apoiam a startup, que arrecadou 22,25 milhões de dólares em financiamento inicial. Embora não seja a única empresa a trabalhar na compressão de LLMs, o foco da PrismML em manter o desempenho a diferencia. Hassibi observa que, embora a correspondência perfeita de referência permaneça inatingível, mesmo pequenas quedas de desempenho podem não ter um impacto significativo no uso do mundo real. Os modelos menores da startup foram baixados mais de 13,6 milhões de vezes, demonstrando uma crescente adoção.