Datalab lanza OmniParseBench: una plataforma de evaluación ocr completa con más de 16.000 pruebas

Datalab ha lanzado OmniParseBench, una plataforma de evaluación OCR de código abierto diseñada para evaluar los analizadores de documentos. La plataforma incluye 16.288 pruebas de éxito/fracaso en 2.937 páginas de 2.343 documentos, que cubren 92 idiomas. El conjunto de datos y el código están disponibles públicamente, lo que permite a los ingenieros evaluar cómo manejan los analizadores tipos de documentos específicos. El propio analizador de Datalab, Datalab Accurate, ocupa el segundo lugar en el primer ranking, por detrás de Gemini 3.8 Flash. OmniParseBench evalúa los analizadores en función de tres categorías: texto, tablas y diseño. Cada prueba es una pregunta de sí/no sobre una sola página, y las puntuaciones se calculan como el porcentaje de pruebas superadas. La plataforma tiene como objetivo proporcionar una evaluación más clara y práctica que las plataformas de clasificación tradicionales. También incluye metadatos detallados, como etiquetas para estructura, renderizado, rol, script y idioma, lo que permite una puntuación personalizada. Datalab destaca las limitaciones de las plataformas de evaluación existentes, como la falta de estandarización en la puntuación y la sobreajuste a condiciones de prueba específicas. La plataforma también registra los métodos de derivación, incluidos XML de editor, capas de texto de PDF y revisión humana. Datalab enfatiza que la mejor plataforma de evaluación es aquella que está adaptada a los propios documentos del usuario, animando a los proveedores a utilizar sus propios datos para la evaluación.