Análise aprofundada do omniparsebench: reconstrução dos resultados da tabela de classificação e desempenho do ocr

Uma análise recente do OmniParseBench, a ferramenta de benchmark de código aberto da Datalab para analisadores de documentos, revela que os dois principais analisadores estão estatisticamente empatados, com Datalab e Gemini 3.8 Flash obtendo resultados próximos de 92,9%. O estudo, realizado em 22 de outubro de 2026, reconstrui a tabela de classificação utilizando os resultados publicados e testa 27 analisadores em 2.937 páginas, incluindo formulários digitalizados, escrita à mão e artigos da arXiv. Os pesquisadores descobriram que o líder varia de acordo com o tipo de documento, com o Gemini liderando em escrita à mão e matemática, e o Mistral OCR em grego. Tesseract e Indra OCR foram testados em uma amostra de 50 páginas, com o Tesseract alcançando 30,4% de precisão nos testes de texto. O Indra OCR apresentou 92% de concordância com os resultados publicados, embora as discrepâncias nos testes de tabelas tenham sido atribuídas a uma única página. O estudo também destaca que as cifras de lançamento do conjunto de dados não correspondem aos arquivos liberados, e que a ordem da tabela de classificação pode mudar dependendo da forma como os testes são agregados. Os resultados enfatizam a importância de segmentar os benchmarks para tipos de documentos específicos e de relatar intervalos estatísticos.