Perplexity revela lily: motor de inferência de alto desempenho para Qwen3.6-35B-A3B em apple silicon

A Perplexity lançou o Lily, um motor de inferência especializado projetado para executar o modelo Qwen3.6-35B-A3B em hardware Apple Silicon. Construído com Rust e Metal, o Lily opera como um ambiente de execução de um único processo, evitando o uso de PyTorch e MLX. Ele inclui uma camada Rust para carregamento e geração de checkpoints, uma API compatível com OpenAI para streaming de tokens e núcleos Metal escritos à mão para a execução do modelo. O motor é otimizado para o hardware da Apple, exigindo um Mac com pelo menos 32 GB de memória unificada para implantação. O design do Lily se concentra no desempenho por meio da especialização estreita, com um checkpoint de 4 bits de 19,4 GB. Ele emprega a quantização afim em grupo, comprimindo os pesos bfloat16 para reduzir o uso de memória. O motor também integra técnicas avançadas como a atenção em grupo e a atenção GQA-aware, alcançando melhorias significativas na velocidade nas fases de preenchimento e decodificação. Os testes mostram que o Lily supera o MLX-LM em taxa de transferência de tokens, com uma taxa de preenchimento 1,23x mais rápida e uma velocidade de decodificação 1,35x mais rápida em um M5 Max de 40 núcleos. O lançamento inclui uma demonstração independente e um repositório GitHub, com mais detalhes disponíveis para insights técnicos.