FreeToken permite inferência local de alto desempenho para modelos de IA massivos em hardware de consumo

Uma equipe de pesquisadores da UC Berkeley e UT Austin desenvolveu o FreeToken, um motor de inferência nativo para a borda que permite que modelos de IA grandes funcionem de forma eficiente em hardware de consumo. O sistema é projetado para tratar uma máquina pessoal como uma plataforma de inferência unificada e elástica, mapeando dinamicamente a computação e o estado do modelo na GPU, CPU, memória e largura de banda de interconexão disponíveis. Essa abordagem permite a execução de modelos como o GLM-5.2, que possui 753 bilhões de parâmetros, em uma única GPU de estação de trabalho. O FreeToken consegue isso aproveitando uma arquitetura de Mistura de Especialistas (MoE), que permite que apenas um subconjunto dos parâmetros do modelo esteja ativo durante a inferência, reduzindo significativamente os requisitos computacionais. A equipe de pesquisa destacou que os motores de inferência existentes, como llama.cpp, KTransformers, Ollama e MoE-Infinity, enfrentam várias limitações ao lidar com modelos grandes de forma eficiente. O FreeToken aborda essas limitações, melhorando a taxa de transferência e reduzindo a latência, com testes mostrando que consegue manter 77-83 tokens por segundo no Qwen3.6-35B-A3B (BF16) e 22-25 tokens por segundo no DeepSeek-V4-Flash (MXFP4), superando as melhores linhas de base em 1,5-2,3 vezes. A latência de decodificação permanece dentro de 12% da taxa de uma única iteração em três cargas de trabalho, com o pior caso de tempo para o primeiro token (TTFT) permanecendo abaixo de 44 segundos. O FreeToken está disponível sob a licença Apache-2.0 no GitHub e pode ser instalado via PyPI como freetoken v0.1.2. Também é distribuído como um aplicativo de desktop de um clique para Windows e Linux através do flashml.ai. A ferramenta suporta pontos de extremidade compatíveis com OpenAI e Anthropic na porta 1919 e integra-se com Claude Code, Codex, OpenCode e OpenClaw. O sistema é particularmente adequado para desenvolvedores individuais, startups e pequenas equipes de engenharia, cujos custos de token de agente excedem o preço de uma GPU que possuem. As empresas são aconselhadas a usá-lo para cargas de trabalho isoladas ou regulamentadas, em vez de como substituto de um data center. A equipe de pesquisa identificou três modos de falha em motores de inferência existentes e demonstrou como o FreeToken os supera. Em um laptop RTX 4060 de 8 GB, a versão NVFP4 serve um modelo de 35B a 39,3 tokens por segundo, superando a velocidade de decodificação mediana do Codex em traçados de produção. Em uma única RTX PRO 6000, o GLM-5.2 (753B, 40B ativo) executa a 14,9 tokens por segundo, em comparação com 7,3 tokens por segundo com llama.cpp. O sistema também suporta a geração de dados sintéticos, avaliações em lote e análise de contratos offline, tornando-o ideal para indústrias como saúde, jurídico, defesa, finanças e P&D intensivas em IP. A publicação, o repositório do GitHub e o projeto estão disponíveis publicamente para exploração adicional. A equipe também convida à colaboração para promover repositórios do GitHub, páginas do Hugging Face, lançamentos de produtos e webinars.