Análisis artificial y lanzamiento de la plataforma de evaluación de IA móvil de liquid AI, destacando el rendimiento de los modelos de 8 gb en el iPhone 17 pro

El 24 de agosto, la organización de evaluación de IA, Artificial Analysis, publicó una entrada de blog detallando una colaboración con Liquid AI para introducir una plataforma de evaluación de rendimiento de IA local para dispositivos móviles. La plataforma se centra en el rendimiento en el mundo real de los modelos en el Apple iPhone 17 Pro. La asociación se estructura con responsabilidades distintas: Artificial Analysis se encarga de las pruebas de nivel de inteligencia, mientras que Liquid AI supervisa las evaluaciones de rendimiento de la razón. Se seleccionaron cinco categorías de evaluación, que incluyen llamadas a funciones, seguimiento de instrucciones, comprensión del conocimiento, preguntas difíciles y matemáticas. La plataforma está dirigida a modelos con un tamaño de no más de 8 GB después de la cuantificación de 4 bits, lo que les permite funcionar en el borde. Ejemplos de tales modelos incluyen Gemma 4 E2B y LFM2-2.6B-Exp. Cuando el límite de contexto se establece en 16K tokens, las puntuaciones promedio más altas se lograron con Nanbeige4.2-3B de Nanhua Lab y LFM2.5-2.6B de Liquid AI. Bajo una restricción de tiempo de respuesta de un minuto, LFM2.5-8B-A1B lidera, seguido de LFM2-2.6B-Exp, Gemma 4 E4B y Granite 4.1 8B. Nanbeige4.2-3B, desarrollado por el laboratorio de BOSS Zhipin, tiene solo 3 mil millones de parámetros no incrustados, pero utiliza la arquitectura Transformer en bucle. Esta arquitectura reutiliza las capas cíclicamente, aumentando la profundidad computacional efectiva sin añadir parámetros, lo que da como resultado puntuaciones comparables a las de sus competidores. La plataforma destaca el 'techo de inteligencia de los modelos pequeños en el borde', lo que indica un cambio en la competencia de la IA móvil de la funcionalidad a la velocidad y la precisión.