El equipo mnn de taobao lanza el modelo de lenguaje móvil 0.3B, logrando 350 tokens/s en el iPhone 18 pro

El equipo MNN de Taobao ha presentado MNN-Pocket-0.3B, un modelo de lenguaje ligero diseñado para aplicaciones móviles, que equilibra el rendimiento, la velocidad y el consumo de energía en entornos con recursos limitados. Este modelo, que cuenta con aproximadamente 300 millones de parámetros, ha sido diseñado para lograr un rendimiento comparable al de los modelos de nivel de 8B, priorizando el seguimiento de instrucciones tanto en chino como en inglés. En un iPhone 18 Pro real, el modelo demostró una velocidad de decodificación promedio de aproximadamente 350 tokens/s cuando se ejecuta completamente en línea utilizando el motor de inferencia MNN. Las especificaciones técnicas clave incluyen un uso máximo de memoria inferior a 300 MB y una tasa de decodificación que excede los 200 tokens/s bajo configuraciones especificadas. El tamaño del archivo de despliegue para la versión INT4 de MNN es de solo 173 MB. Las pruebas comparativas en un iPad Pro M5 mostraron que MNN-Pocket-0.3B tenía un tamaño de despliegue un 49% más pequeño y un aumento máximo de la memoria un 47% menor en comparación con Qwen3-0.6B (340 MB/427 MB, respectivamente). En términos de eficiencia, se ha apuntado a que el consumo de energía incremental del modelo durante la inferencia típica es inferior a una milésima parte de la energía de la batería por inferencia. Además, el equipo informó un consumo de energía incremental promedio de aproximadamente 2,7 J por ronda en un OnePlus 13 (Snapdragon 8 Gen 2) bajo una carga de 1024 entradas/128 salidas. El modelo logró una puntuación de IFEval-zh de 74,59 para el seguimiento de instrucciones en chino, la más alta entre los modelos comparables probados.