Análise artificial e lançamento de IA líquida de benchmark de IA para dispositivos móveis, destacando o desempenho de modelos de 8gb no iPhone 17 pro

Em 24 de agosto, a organização de avaliação de IA, Artificial Analysis, publicou uma publicação de blog detalhando uma colaboração com a Liquid AI para introduzir um benchmark de desempenho de IA local para dispositivos móveis. O benchmark se concentra no desempenho do mundo real de modelos no Apple iPhone 17 Pro. A parceria é estruturada com responsabilidades distintas: a Artificial Analysis lida com testes de nível de inteligência, enquanto a Liquid AI supervisiona as avaliações de desempenho de raciocínio. Cinco categorias de benchmark foram selecionadas, incluindo chamadas de função, seguimento de instruções, compreensão de conhecimento, perguntas difíceis e matemática. O benchmark visa modelos com um tamanho de no máximo 8 GB após a quantização de 4 bits, permitindo que operem na borda. Exemplos de tais modelos incluem Gemma 4 E2B e LFM2-2.6B-Exp. Quando o limite de contexto é definido em 16K tokens, as pontuações médias mais altas foram alcançadas por Nanbeige4.2-3B da Nanhua Lab e LFM2.5-2.6B da Liquid AI. Sob uma restrição de tempo de resposta de um minuto, LFM2.5-8B-A1B lidera, seguido por LFM2-2.6B-Exp, Gemma 4 E4B e Granite 4.1 8B. Nanbeige4.2-3B, desenvolvido pelo laboratório da BOSS Zhipin, tem apenas 3 bilhões de parâmetros não incorporados, mas utiliza a arquitetura Transformer em Loop. Esta arquitetura reutiliza camadas ciclicamente, aumentando a profundidade computacional efetiva sem adicionar parâmetros, resultando em pontuações comparáveis às de seus concorrentes. O benchmark destaca o limite de inteligência dos 'pequenos modelos de borda', indicando uma mudança na competição de IA móvel de simplesmente funcionalidade para velocidade e precisão.