Los modelos de lenguaje grandes (LLM) compactos de PrismML buscan revolucionar el acceso a la IA

PrismML, una startup fundada por investigadores de Caltech y dirigida por el profesor Babak Hassibi, está desarrollando modelos de lenguaje grandes (LLM) altamente comprimidos que pueden funcionar en ordenadores personales y teléfonos inteligentes. Su modelo más reciente, Bonsai 2 27B, reduce la huella de memoria de Qwen3.8 27B de Alibaba en un 9x a 10x, ocupando solo 5,9 GB. Hassibi afirma que el modelo conserva el 98% del rendimiento de referencia de Qwen, en comparación con el 95% de la versión anterior. La startup también cuenta con Ion Stoica, cofundador de Databricks, como asesor. La técnica de compresión de PrismML, denominada 'pesos ternarios', simplifica el almacenamiento de datos del modelo utilizando tres valores en lugar de 16 bits. La empresa planea aplicarlo a modelos más grandes en los próximos meses, con el objetivo de mantener un mejor rendimiento. Stoica destaca el potencial de la IA en el dispositivo, enfatizando la privacidad y la eficiencia de costes. Inversores como Khosla Ventures y Caltech respaldan a la startup, que ha recaudado 22,25 millones de dólares en financiación inicial. Si bien no es la única empresa que trabaja en la compresión de LLM, el enfoque de PrismML en mantener el rendimiento la distingue. Hassibi señala que, aunque la paridad perfecta de referencia sigue siendo inalcanzable, incluso pequeñas disminuciones de rendimiento pueden no tener un impacto significativo en el uso del mundo real. Los modelos más pequeños de la startup se han descargado más de 13,6 millones de veces, lo que demuestra una creciente adopción.