Liquid AI presenta una herramienta de evaluación de código abierto para evaluar el rendimiento de la IA en dispositivos

Liquid AI, en colaboración con Artificial Analysis, ha lanzado Pipette, una plataforma de código abierto diseñada para evaluar modelos de base en dispositivos de borde. La herramienta mide el rendimiento de los modelos en condiciones reales, teniendo en cuenta factores como la cuantificación, el tiempo de ejecución y el hardware. A diferencia de las tarjetas de modelos tradicionales, que evalúan el rendimiento en condiciones de servidor, Pipette evalúa cómo se comportan los modelos en dispositivos como teléfonos inteligentes y tabletas. La plataforma proporciona un conjunto de datos completo que abarca más de 1.000 configuraciones, incluidas más de 30 modelos, varios formatos de cuantificación y longitudes de contexto que van de 256 a 8.192 tokens. Los resultados iniciales de dispositivos como un MacBook Pro con M5 Max, un iPhone 17 Pro y un Galaxy S26 Ultra muestran que dos modelos de 350M conservan el 78,4 % y el 33,8 % del rendimiento de decodificación a 4.096 tokens. Pipette se lanza bajo la licencia Apache 2.0 e incluye componentes de infraestructura, un conjunto de datos público, un panel de control alojado y aplicaciones de evaluación nativas para iOS y Android. La metodología ha sido validada por Artificial Analysis, lo que garantiza que los resultados sean fiables y reproducibles. La herramienta mide métricas de rendimiento como la latencia, el rendimiento y el uso de la memoria, mientras que las evaluaciones de calidad se rastrean por separado en IFBench, GPQA Diamond y MATH-500. Estas puntuaciones de calidad se derivan de evaluaciones en sistemas NVIDIA H100 de 80 GB y se corresponden con las ejecuciones en el dispositivo con el mismo modelo y cuantificación. Las pruebas de rendimiento siguen una metodología estandarizada, que incluye formas de token fijas, decodificación gruesa y control de la lista de espera. Cada ejecución de evaluación se verifica en función de las condiciones térmicas y de carga, y solo las ejecuciones exitosas se publican. La plataforma también admite la puntuación determinista y sin modelos para garantizar la equidad. El lanzamiento incluye detalles técnicos y un clasificador, con resultados enviados por la comunidad actualmente en fase beta. Liquid AI anima a los usuarios a seguir sus canales de redes sociales y a unirse a su grupo de Telegram para obtener más actualizaciones.