Résumé

Ce benchmark présente une évaluation comparative de la famille de modèles OCR documentaires AlphaDigit v2 (AlphaDigitMax v2, AlphaDigitMedium v2 et AlphaDigitFast v2) sur olmOCR-Bench, un benchmark public d'environ 8 400 tests unitaires binaires répartis en huit catégories de pages PDF. Tous les systèmes sont évalués avec le même juge, construit sur les implémentations de test officielles d'olmOCR-Bench, après une normalisation de format identique.

AlphaDigitMax v2 obtient le meilleur score global (89,4 %), soit 2,5 points devant le meilleur concurrent (Chandra, 86,9 %). Il est premier sur les tableaux, les scans anciens et les scans anciens avec mathématiques, et à égalité en tête sur les en-têtes/pieds de page et la catégorie de référence. L'écart est le plus marqué sur les scans anciens (60,6 % contre 51,2 %). AlphaDigitMedium v2 (85,4 %) se classe troisième, devant Mistral OCR (83,8 %). AlphaDigitFast v2 (83,0 %) est cinquième, devant DeepSeek-OCR, DeepSeek-OCR-2, LightOnOCR-2, GLM-OCR et Infinity-Parser2-Pro. AlphaDigitMax v2 conserve la première place lorsque la catégorie en-têtes/pieds de page est exclue de la moyenne (88,0 % contre 85,5 %).

Une version PDF complète de ce rapport est également disponible.

Introduction

Ce rapport présente un benchmark des modèles AlphaDigit, développés par AlphaEdge, pour la conversion de pages de documents (PDF ou images scannées) en texte structuré : Markdown pour le texte courant, HTML pour les tableaux et LaTeX pour les mathématiques. L'objectif est de situer ces modèles par rapport à un ensemble de systèmes OCR récents, à poids ouverts ou commerciaux, à l'aide d'un benchmark public dont les tests sont vérifiables automatiquement.

Trois variantes sont évaluées :

• AlphaDigitMax v2, la variante la plus précise ;
• AlphaDigitMedium v2, une variante intermédiaire ;
• AlphaDigitFast v2, la variante la plus légère, conçue pour le haut débit.

Ce rapport se concentre sur l'évaluation empirique. Il ne détaille ni l'architecture interne des modèles ni leurs données d'entraînement. Cette première version ne couvre qu'olmOCR-Bench ; des évaluations sur d'autres benchmarks sont en cours (voir la section Conclusion).

Protocole expérimental

Benchmark

olmOCR-Bench (Allen Institute for AI) contient 1 402 pages PDF uniques. Chaque page est associée à des tests unitaires déterministes, qui réussissent ou échouent. Les tests couvrent huit catégories :

Systèmes comparés

Les systèmes comparés sont : AlphaDigitMax v2, AlphaDigitMedium v2, AlphaDigitFast v2, Chandra en mode accurate (API), Mistral OCR Latest (API), DeepSeek-OCR, DeepSeek-OCR-2, GLM-OCR, Infinity-Parser2-Pro et LightOnOCR-2.

Métriques

Pour chaque catégorie, le score correspond au pourcentage de tests réussis. Conformément à la convention d'olmOCR-Bench, le score global est la moyenne non pondérée des huit scores de catégorie. La catégorie en-têtes/pieds de page récompensant l'omission de contenu et affectant fortement certains systèmes, nous reportons également la moyenne des sept autres catégories.

Inférence

Chaque page est transcrite une seule fois (une répétition par page) à partir du PDF d'origine. Aucune information issue des fichiers de test n'est disponible au moment de l'inférence. Les modèles exécutés localement ont tourné sur un unique GPU NVIDIA RTX PRO 6000. Les systèmes accessibles via API ont été interrogés par leurs points de terminaison officiels.

Normalisation des sorties

Les tests d'olmOCR-Bench sont sensibles aux conventions purement typographiques. Afin de comparer la qualité de transcription plutôt que les conventions d'écriture, la sortie de chaque système passe par les mêmes étapes avant notation. Deux niveaux de normalisation sont appliqués.

Normalisation de format (toutes les sorties, toutes les catégories) :

• suppression des balises de raisonnement (par ex. <think>...</think>) lorsque le modèle en produit ;
• normalisation Unicode NFC et repli de la ponctuation typographique (guillemets et apostrophes courbes, tirets typographiques) vers leurs équivalents ASCII ;
• recollage des mots coupés en fin de ligne (par ex. « compe-\n tence » → « competence »), tout en conservant les tirets qui ne tombent pas en fin de ligne ;
• suppression des lignes ne contenant qu'un balisage de numéro de page, et fusion des suites de lignes vides.

Les délimiteurs mathématiques, le HTML des tableaux et le contenu textuel ne sont pas modifiés.

Équivalences de notation. Aucun caractère, chiffre ou mot différent n'est corrigé : par exemple, « < 6,000 km² » n'est jamais associé à « < 5,000 km² ». Les équivalences retenues concernent des notations strictement équivalentes (commandes LaTeX vs symboles Unicode, variantes d'ellipses, délimiteurs de maths en ligne, cases à cocher vides, etc.).

Notes de comparabilité

• Dénominateurs. Le nombre de tests peut varier de quelques unités entre les exécutions. Pour AlphaDigitFast v2 et GLM-OCR, la catégorie tableaux compte 1 021 tests au lieu de 1 019. Les comptes complets figurent en annexe.
• Infinity-Parser2-Pro. Le modèle étiquette chaque bloc de sortie par une classe de mise en page. Les blocs qu'il étiquette lui-même comme en-tête, pied de page ou note de bas de page sont retirés de sa sortie avant notation, de la même manière que le mobilier de page est exclu par les modèles AlphaDigit.
• LightOnOCR-2. C'est un modèle pleine page sans étape de mise en page. Il transcrit le mobilier de page lorsqu'il est visible : 71,4 % des tests en-têtes/pieds de page échouent parce que le texte courant est fidèlement reproduit. Il s'agit d'un choix de conception, et non d'une erreur de reconnaissance ; il pèse sur le score global de la même façon que pour les autres systèmes pleine page. Le retirer exigerait les annotations du benchmark, ce qui rendrait la mesure circulaire : aucun post-traitement de ce type n'est appliqué.

Corrections appliquées au jeu de test

Les valeurs attendues d'olmOCR-Bench sont en partie construites automatiquement, et un audit du jeu de test a révélé un certain nombre de tests erronés, impossibles à satisfaire quelle que soit la sortie du système. Ils ont été revus en deux passes : une passe systématique avec Gemini 3.1 Pro, utilisée uniquement pour signaler les tests suspects, suivie d'une vérification manuelle et visuelle de chaque test signalé au regard de la page rendue. Les corrections ont été appliquées aux valeurs attendues, jamais à la sortie d'un système, et le juge officiel est resté inchangé. Aucune correction ne favorise un système en particulier : plusieurs des tests corrigés sont des tests que nos propres modèles échouent. Tous les systèmes, locaux ou via API, ont été notés contre le même jeu de test corrigé, de sorte que la comparaison repose sur une référence commune unique.

Résultats

Synthèse

AlphaDigitMax v2 obtient le meilleur score global, à 89,4 %, devant Chandra API (86,9 %). AlphaDigitMedium v2 (85,4 %) se classe troisième, devant Mistral OCR (83,8 %). AlphaDigitFast v2 (83,0 %) est cinquième, devant DeepSeek-OCR-2 (79,9 %), Infinity-Parser2-Pro (79,9 %), DeepSeek-OCR (78,4 %), LightOnOCR-2 (76,9 %) et GLM-OCR (74,3 %).

Par catégorie, AlphaDigitMax v2 est strictement premier sur les tableaux (92,9 %, +3,0 pt), les scans anciens (60,6 %, +9,4 pt) et les scans anciens avec mathématiques (91,9 %, +0,2 pt). Il est à égalité en tête sur les en-têtes/pieds de page (99,5 %) et la référence (99,9 %). Il est proche du meilleur système sur le texte petit et dense (95,4 % contre 95,9 % pour Chandra) et le multi-colonnes (86,2 % contre 86,8 % pour Mistral OCR). Son écart le plus important se situe sur les mathématiques arXiv (88,9 % contre 91,9 % pour LightOnOCR-2). Son plus grand avantage porte sur les documents historiques dégradés, la catégorie la plus difficile du benchmark pour tous les systèmes.

Résultats par catégorie

Résultats complets

Discussion

En-têtes et pieds de page

Cette catégorie récompense les systèmes qui laissent le mobilier de page hors de la transcription. LightOnOCR-2 transcrit fidèlement les en-têtes et pieds de page courants, et obtient donc moins de 30 % ici. C'est un choix de conception plutôt qu'une erreur de reconnaissance, et il pèse fortement sur son score global. Lorsque cette catégorie est exclue, AlphaDigitMax v2 reste premier (88,0 %), devant Chandra API (85,5 %), LightOnOCR-2 (83,8 %), AlphaDigitMedium v2 (83,4 %) et Mistral OCR (82,2 %). Les modèles AlphaDigit excluent le mobilier de page par conception, ce qui convient à des usages en aval comme la recherche documentaire et la compréhension de documents.

Documents dégradés

Scans anciens est la catégorie la plus difficile pour tous les systèmes : aucun concurrent ne dépasse 51,2 %. AlphaDigitMax v2 atteint 60,6 %, soit une avance de 9,4 points, et se classe également premier sur les scans anciens avec mathématiques (91,9 %). Ces résultats montrent une robustesse au bruit, à l'encre délavée et à la typographie historique, courants dans les documents d'archives et de back-office.

Écarts restants

Sur le texte petit et dense, AlphaDigitMax v2 (95,4 %) se situe à 0,5 point du meilleur système (Chandra, 95,9 %). Sur les pages multi-colonnes, les meilleurs systèmes se tiennent à environ un point les uns des autres (86,2 % contre 86,8 % pour Mistral OCR). L'écart restant le plus net concerne les mathématiques arXiv, où LightOnOCR-2 mène (91,9 % contre 88,9 %).

Variantes plus légères

AlphaDigitMedium v2 obtient 85,4 % au global et se classe troisième, juste derrière Chandra, avec de bons résultats en multi-colonnes (86,7 %) et en texte petit et dense (93,8 %). AlphaDigitFast v2 obtient 83,0 %, soit 0,8 point derrière Mistral OCR, et devant les modèles DeepSeek, LightOnOCR-2, GLM-OCR et Infinity-Parser2-Pro. Il conserve un bon niveau sur les tableaux (88,2 %) et les mathématiques (85,2 % sur arXiv, 85,2 % sur les scans anciens avec maths). Ses principales faiblesses sont le texte petit et dense (78,3 %) et l'ordre de lecture multi-colonnes (78,5 %).

Conclusion

Dans le protocole expérimental décrit ici, AlphaDigitMax v2 obtient le meilleur score global sur olmOCR-Bench (89,4 %) parmi les dix systèmes comparés. Il mène nettement sur les tableaux et sur les scans historiques dégradés, se situe à 0,5 point du meilleur système sur le texte petit et dense, et reste premier lorsque la catégorie en-têtes/pieds de page est exclue. AlphaDigitMedium v2 se classe troisième, derrière Chandra (API) uniquement, et AlphaDigitFast v2 cinquième. Cela place toute la famille AlphaDigit parmi les systèmes OCR documentaires les plus précis sur ce benchmark.

Ce rapport ne couvre qu'olmOCR-Bench. Des évaluations sur d'autres benchmarks publics de compréhension de documents, notamment OmniDocBench et MDPBench, sont en cours et seront reportées dans une future version de ce document.

Annexe — Comptes de tests bruts