Datalab lanza omniextractbench para abordar sesgos y transparencia en las evaluaciones de extracción de documentos

Datalab ha introducido OmniExtractBench, una evaluación de código abierto diseñada para mejorar la equidad y la transparencia en las evaluaciones de extracción de documentos estructurados. La evaluación mide con qué precisión los sistemas pueden completar esquemas JSON a partir de archivos PDF, utilizando 620 documentos de cuatro evaluaciones existentes. Un evaluador determinista califica cada envío y explica sus decisiones, con el objetivo de proporcionar un marco de evaluación estandarizado en medio de la proliferación de tablas de clasificación específicas de los proveedores. OmniExtractBench utiliza la alineación basada en el contenido utilizando el algoritmo de Hungría, abordando los desafíos planteados por las tablas, donde las discrepancias posicionales pueden afectar drásticamente las puntuaciones. La evaluación también introduce una capa de decisión para refinar las métricas de precisión, distinguiendo entre valores coincidentes, precisión y recuperación. Datalab informa que su modo preciso logró una precisión del 93,85 %, seguido de cerca por otros sistemas como Reducto deep_extract v2. La evaluación se puede implementar a través de PyPI, con los datos alojados en Hugging Face y el código disponible en GitHub. Datalab enfatiza que los campos vacíos y los marcadores no se consideran coincidencias válidas, evitando así posibles explotaciones a través del relleno de esquemas. El lanzamiento, publicado el 27 de septiembre de 2026, tiene como objetivo establecer un nuevo estándar para la equidad y la transparencia en las evaluaciones de extracción de documentos.