FreeToken: inferencia local de alto rendimiento para modelos de IA masivos en hardware de consumo

Un equipo de investigadores de UC Berkeley y UT Austin ha desarrollado FreeToken, un motor de inferencia nativo para el borde que permite que los grandes modelos de IA funcionen de manera eficiente en hardware de consumo. El sistema está diseñado para tratar una máquina personal como una plataforma de inferencia unificada y elástica, mapeando dinámicamente los cálculos y el estado del modelo en el GPU, CPU, memoria y ancho de banda disponible. Este enfoque permite la ejecución de modelos como GLM-5.2, que tiene 753 mil millones de parámetros, en una sola GPU de estación de trabajo. FreeToken logra esto aprovechando una arquitectura de Mezcla de Expertos (MoE), que permite que solo un subconjunto de los parámetros del modelo esté activo durante la inferencia, reduciendo significativamente los requisitos computacionales. El equipo de investigación destacó que los motores de inferencia existentes, como llama.cpp, KTransformers, Ollama y MoE-Infinity, enfrentan varias limitaciones al tratar con modelos grandes de manera eficiente. FreeToken aborda estas limitaciones al mejorar el rendimiento y reducir la latencia, y las pruebas muestran que puede mantener 77-83 tokens por segundo en Qwen3.6-35B-A3B (BF16) y 22-25 tokens por segundo en DeepSeek-V4-Flash (MXFP4), superando a las mejores bases en 1,5-2,3 veces. La latencia de decodificación se mantiene dentro del 12% de la tasa de un solo turno en tres cargas de trabajo basadas en agentes, con un tiempo máximo para el primer token (TTFT) por debajo de los 44 segundos. FreeToken está disponible bajo la licencia Apache-2.0 en GitHub y se puede instalar a través de PyPI como freetoken v0.1.2. También se distribuye como una aplicación de escritorio de un solo clic para Windows y Linux a través de flashml.ai. La herramienta admite puntos finales compatibles con OpenAI y Anthropic en el puerto 1919 e integra con Claude Code, Codex, OpenCode y OpenClaw. El sistema es particularmente adecuado para desarrolladores individuales, startups y pequeños equipos de ingeniería cuyo coste de tokens de agente supera el precio de una GPU que poseen. Se recomienda a las empresas utilizarlo para cargas de trabajo aisladas o reguladas en lugar de como reemplazo de un centro de datos. El equipo de investigación identificó tres modos de fallo clave en los motores de inferencia existentes y demostró cómo FreeToken los supera. En una laptop RTX 4060 de 8 GB, la versión NVFP4 sirve un modelo de 35B a 39,3 tokens por segundo, superando la velocidad de decodificación mediana de Codex en trazas de producción. En una sola RTX PRO 6000, GLM-5.2 (753B, 40B activo) funciona a 14,9 tokens por segundo, en comparación con 7,3 tokens por segundo con llama.cpp. El sistema también admite la generación de datos sintéticos, evaluaciones por lotes y análisis de contratos fuera de línea, lo que lo hace ideal para industrias como la atención médica, la legal, la defensa, las finanzas y la I+D intensiva en propiedad intelectual. El artículo, el repositorio de GitHub y el proyecto están disponibles públicamente para su exploración. El equipo también invita a la colaboración para promover los repositorios de GitHub, las páginas de Hugging Face, las versiones de productos y los seminarios web.