Perplexity presenta lily: motor de inferencia de alto rendimiento para Qwen3.6-35B-A3B en apple silicon

Perplexity ha lanzado Lily, un motor de inferencia especializado diseñado para ejecutar el modelo Qwen3.6-35B-A3B en hardware Apple Silicon. Construido con Rust y Metal, Lily funciona como un entorno de ejecución de un solo proceso, evitando PyTorch y MLX. Cuenta con una capa de Rust para la carga y generación de puntos de control, una API compatible con OpenAI para el streaming de tokens y núcleos de Metal escritos a mano para la ejecución del modelo. El motor está optimizado para el hardware de Apple, requiriendo una Mac con al menos 32 GB de memoria unificada para su implementación. El diseño de Lily se centra en el rendimiento a través de una especialización estrecha, con un punto de control de 4 bits de 19,4 GB. Utiliza la cuantificación afín por grupos, comprimiendo los pesos de bfloat16 para reducir el uso de memoria. El motor también integra técnicas avanzadas como la atención agrupada y la atención consciente de GQA, logrando mejoras significativas en la velocidad tanto en las fases de prellenado como de decodificación. Las pruebas muestran que Lily supera a MLX-LM en el rendimiento de los tokens, con una tasa de prellenado 1,23 veces más rápida y una velocidad de decodificación 1,35 veces más rápida en un M5 Max de 40 núcleos. El lanzamiento incluye una demostración independiente y un repositorio de GitHub, con más detalles disponibles para obtener información técnica.