Liquid AI apresenta ferramenta de avaliação de código aberto para desempenho de IA em dispositivos

A Liquid AI, em colaboração com a Artificial Analysis, lançou o Pipette, uma plataforma de código aberto projetada para avaliar o desempenho de modelos de base em dispositivos de borda. A ferramenta mede o desempenho dos modelos em condições do mundo real, levando em consideração fatores como quantização, tempo de execução e hardware. Ao contrário das cartas de modelo tradicionais, que avaliam o desempenho em condições de servidor, o Pipette avalia como os modelos se comportam em dispositivos como smartphones e tablets. A plataforma fornece um conjunto de dados abrangente que abrange mais de 1.000 configurações, incluindo mais de 30 modelos, vários formatos de quantização e comprimentos de contexto que variam de 256 a 8.192 tokens. Os resultados iniciais de dispositivos como um MacBook Pro com M5 Max, um iPhone 17 Pro e um Galaxy S26 Ultra mostram que dois modelos de 350M mantêm 78,4% e 33,8% do throughput de decodificação em 4.096 tokens. O Pipette é lançado sob a licença Apache 2.0 e inclui componentes de infraestrutura, um conjunto de dados público, um painel hospedado e aplicativos de benchmark nativos para iOS e Android. A metodologia foi validada pela Artificial Analysis, garantindo que os resultados sejam confiáveis e reproduzíveis. A ferramenta mede métricas de desempenho como latência, throughput e uso de memória, enquanto as avaliações de qualidade são rastreadas separadamente em IFBench, GPQA Diamond e MATH-500. Essas pontuações de qualidade são derivadas de avaliações em sistemas NVIDIA H100 de 80 GB e correspondem a execuções em dispositivos com o mesmo modelo e quantização. Os testes de desempenho seguem uma metodologia padronizada, incluindo formas de token fixas, decodificação gananciosa e gating de prontidão. Cada execução de benchmark é verificada para condições térmicas e de carga, e apenas as execuções bem-sucedidas são publicadas. A plataforma também suporta pontuações determinísticas e sem modelos para garantir a justiça. O lançamento inclui detalhes técnicos e uma tabela de classificação, com resultados submetidos pela comunidade atualmente em fase beta. A Liquid AI incentiva os usuários a seguir seus canais de mídia social e a juntar-se ao seu grupo do Telegram para obter mais atualizações.