Conception and Development of a Novel OCR Architecture Based on Deep Learning models able to resolve Cursive Historical Handwritten fonts challenges

OCR development within cursive handwritten historical fonts still have been a very challenging task, basically due to the absence of separators, the high diversity within writing styles, the presence of overlapping components and the use of diacritics. With the development of deep learning methods, the development of a robust approach able to deal with cursive fonts specificities becomes feasible. Current approaches are not suitable to train historical cursive fonts. In order to conceive such architecture, we had used the historical Maghrebian style as development font. 5 databases were extracted from this font. Using these datasets, a novel design able to reach an overall accuracy of 89.06% overpassing current OCR engines accuracies. The developed approach includes these modules. The binarization module is based on auto-encoders theory combined with an energy minimization technique found on Gibbs distribution with an accuracy of 98.1%. The segmentation task is divided into three sub-modules: the first is able to separate textual and non-textual elements based on deep neural networks with an accuracy of 97.32%. The second sub-module is able to segment into columns with an accuracy of 93.26%. The third submodule is a novel textual-blocks segmentation design able to divide the input text document into connected components. This sub-module is combined with the classification module in order to resolve overlapping components issues in a multiple loops design. The classification task is based on deep learning models able to have an accuracy of 98.95%. To resolve generated challenges from the previous processing tasks, the post-processing module was divided into 3 sub-modules, a text reconstruction module based on classified segments’ positions, labels and context; a lexical verification module based on RNN models and a user-feedback sub-module to update current databases to enhance the overall system accuracy. The combination of text reconstruction and lexical verification modules gives an accuracy of 91.3%. The user-feedback module accuracy is equal to 94.7%. Le développement des OCR pour les fonts historiques cursives est encore une tâche difficile dû principalement à l’absence des séparateurs, la majeure différence en styles d’écriture, le chevauchement des composants et l’utilisation des diacritiques. Avec les majeurs avancements des méthodes d’intelligence artificielles, le développement d’un OCR capable de traiter ces fonts devient possible. Pour ce but, on a utilisé le font historique Maghrébin comme style de développement. 5 bases de données ont été créées à partir du ce font, permettant de développer une nouvelle architecture capable d’avoir un taux de reconnaissance de 89.06%, dépassant les OCR existants à nos jours. La nouvelle architecture inclus ces modules. Le module de binarisation est basé sur les techniques d’auto-encodeurs combiné avec une étape d’amélioration de qualité basée sur la distribution de Gibbs. Ce module est capable d’avoir une précision de 98.1%. Le module de segmentation est divisé en 3 sous modules : le premier se concentre sur la séparation entre les éléments textuels et non-textuels, en se basant sur les techniques d’apprentissage approfondie, avec un taux de précision de 97.32%. Le deuxième se concentre sur la segmentation en colonnes avec une précision de 93.26%. Le troisième sous module est capable de segmenter les éléments textuels en composants connectés. En utilisant une architecture innovante combinée avec le module de classification et en utilisant plusieurs boucles de traitement, l’architecture proposée est capable de résoudre les problèmes de chevauchement des composants. Le module de classification proposé est basé sur les techniques d’apprentissage approfondie, et capable d’avoir un taux de reconnaissance de 98.95%. Pour résoudre les problèmes générés par les modules précédents, le module de l’après traitement est divisé en 3 sous-modules. Le premier est capable d’adresser la reconstruction du texte en se basant sur le label, la position et le contexte des composants. Le deuxième est capable de faire la vérification lexicale et de générer la meilleure possibilité du texte en se basant sur les techniques de modélisation linguistiques basée sur les LSTM. Ce sous-module adresse la suppression des diacritiques au niveau du module de segmentation qui peut produire plusieurs possibilités de textes. Le taux de précision des sous-modules de reconstruction du texte et de vérification lexicale combinés est égale à 91.3%. Le dernier sous-module se concentre sur les corrections utilisateurs et il est capable de faire les différentes mis-à-jours système nécessaire pour améliorer le taux de reconnaissance. Le taux de précision du dernier sous-module est égale à 94.7%.