Keenable AI lanza un benchmark de código abierto para la evaluación en tiempo real de las apis de búsqueda web

Keenable AI ha introducido NEEDLE, un benchmark de código abierto diseñado para evaluar las APIs de búsqueda web actualizando continuamente su conjunto de consultas a partir de fuentes públicas. A diferencia de los benchmarks tradicionales que utilizan conjuntos de datos estáticos, NEEDLE regenera las consultas cada hora para noticias y diariamente para temas de finanzas, académicos, legales y de entidades raras. El benchmark prueba quince APIs de búsqueda bajo un protocolo unificado, y los resultados se comparan con un motor de oráculo definitivo que recopila toda la información recuperada. NEEDLE, una herramienta de línea de comandos de Python, requiere una clave OpenRouter y claves de API para cada motor probado, y se ejecuta en portátiles o sistemas de integración continua. Evalúa tanto los flujos de consultas como la calidad de la clasificación sin descargar páginas ni volver a clasificar los resultados. El sistema de puntuación del benchmark varía según el dominio, con consultas de noticias y de