Keenable AI lança benchmark de código aberto para avaliação de pesquisa web em tempo real

A Keenable AI introduziu o NEEDLE, um benchmark de código aberto projetado para avaliar APIs de pesquisa web, atualizando continuamente seu conjunto de consultas a partir de fontes públicas. Ao contrário dos benchmarks tradicionais que usam conjuntos de dados estáticos, o NEEDLE regenera consultas a cada hora para notícias e diariamente para tópicos financeiros, acadêmicos, jurídicos e de entidades raras. O benchmark testa quinze APIs de pesquisa sob um protocolo unificado, com resultados comparados a um motor de referência que agrega todas as informações recuperadas. O NEEDLE, uma ferramenta de linha de comando (CLI) em Python, requer uma chave OpenRouter e chaves de API para cada motor testado, e é executado em laptops ou sistemas de integração contínua (CI). Ele avalia tanto os fluxos de consultas quanto a qualidade da classificação, sem precisar carregar páginas ou reclassificar resultados. O sistema de pontuação do benchmark varia por domínio, com consultas de notícias e de nicho profundo avaliadas por juízes de LLM, enquanto as tarefas financeiras e jurídicas usam correspondências de identificadores. Os resultados dos últimos sete dias mostram que o Exa lidera no setor financeiro com 0,910, seguido de perto pela Keenable e pela Perplexity. Nos domínios acadêmico e jurídico, a Keenable obtém 0,774 e 0,470, respectivamente, em comparação com um limite de 0,869. As métricas de latência também destacam diferenças de desempenho, com o Keenable-realtime registrando 193 ms (p50). O painel de controle ao vivo, o repositório do GitHub e a documentação técnica do projeto estão disponíveis publicamente.