Equipe taobao lança o LLM móvel 0.3B, atingindo 350 Tokens/s no iPhone 18 pro

A equipe MNN da Taobao apresentou o MNN-Pocket-0.3B, um modelo de linguagem leve projetado para aplicações móveis, equilibrando desempenho, velocidade e consumo de energia em recursos limitados. Este modelo, com aproximadamente 300 milhões de parâmetros, foi projetado para atingir um desempenho comparável a modelos de 8B, priorizando o seguimento de instruções tanto em chinês quanto em inglês. Em um iPhone 18 Pro real, o modelo demonstrou uma velocidade de decodificação média de cerca de 350 tokens/s ao executar totalmente offline usando o motor de inferência MNN. As principais especificações técnicas incluem o uso máximo de memória abaixo de 300 MB e uma taxa de decodificação superior a 200 tokens/s sob configurações especificadas. O tamanho do arquivo de implantação para a versão INT4 do MNN é de apenas 173 MB. Testes comparativos em um iPad Pro M5 mostraram que o MNN-Pocket-0.3B tinha um tamanho de implantação 49% menor e um aumento de pico na memória 47% menor em comparação com o Qwen3-0.6B (340 MB/427 MB, respectivamente). Em termos de eficiência, o consumo de energia incremental do modelo durante a inferência típica está direcionado para ser inferior a um milésimo da energia da bateria por inferência. Além disso, a equipe relatou um consumo de energia incremental médio de cerca de 2,7 J por rodada em um OnePlus 13 (Snapdragon 8 Gen 2) sob uma carga de 1024 entradas/128 saídas. O modelo alcançou uma pontuação de seguimento de instruções chinesa IFEval-zh de 74,59, a mais alta entre os modelos comparáveis testados.