Datalab lança OmniParseBench: um benchmark ocr abrangente com mais de 16.000 testes

A Datalab lançou o OmniParseBench, um benchmark OCR de código aberto, projetado para avaliar analisadores de documentos. O benchmark inclui 16.288 testes de aprovação/rejeição em 2.937 páginas de 2.343 documentos, abrangendo 92 idiomas. O conjunto de dados e o código estão disponíveis publicamente, permitindo que os engenheiros avaliem como os analisadores lidam com tipos de documentos específicos. O próprio analisador da Datalab, Datalab Accurate, ocupa a segunda posição no ranking inicial, atrás do Gemini 3.8 Flash. O OmniParseBench avalia analisadores com base em três categorias: texto, tabelas e layout. Cada teste é uma pergunta de sim/não sobre uma única página, com as pontuações calculadas como a porcentagem de testes aprovados. O benchmark visa fornecer uma avaliação mais clara e acionável do que os rankings tradicionais. Também inclui metadados detalhados, como tags para estrutura, renderização, papel, script e idioma, permitindo pontuações personalizadas. A Datalab destaca as limitações dos benchmarks existentes, como a falta de padronização na pontuação e a sobreajuste a condições de teste específicas. O benchmark também registra métodos de derivação, incluindo XML do editor, camadas de texto PDF e revisão humana. A Datalab enfatiza que o melhor benchmark é aquele adaptado aos documentos de um usuário, incentivando os fornecedores a usar seus próprios dados para avaliação.