License plate text recognition using deep learning, NLP, and image processing techniques التعرف على نص لوحة الترخيص باستخدام تقنيات التعلم العميق والمعالجة اللغوية العصبية ومعالجة الصور Reconnaissance de texte de plaque d'immatriculation à l'aide de techniques d'apprentissage en profondeur, de PNL et de traitement d'image Reconocimiento de texto de matrículas utilizando técnicas de aprendizaje profundo, PNL y procesamiento de imágenes

Detecting license plates has never been easy, particularly with the proliferation of sophisticated radars on highways and roads. By 2021, the gendarmerie and National Security Road control agents will have access to more than 1 billion smart traffic radars worldwide. This research presents a revolutionary technique for detecting and recognizing Arabic and Latin license plates. After assembling the gathered images to create a novel dataset, we utilized YOLO v7 to locate and identify the number plate in the image as the first step of the suggested procedure. Before the dataset was fed to the detection system, it was manually labeled. Afterward, we improved the recognized license plate using machine learning methods. To do this, we used kernel methods as well as thresholding to get rid of the extra vertical lines on the plate. After that, we employed Arabic OCR along with Easy OCR methods to decipher the Latin and Arabic characters on the number plate. Eventually, the proposed method achieved an F1 score of 98%,with a precision and recall of 97% and 98%, respectively. We also obtained an accuracy of 99% for image segmentation. The segmentation and detection results from the suggested strategy have shown satisfactory results. لم يكن اكتشاف لوحات الترخيص سهلاً أبداً، لا سيما مع انتشار الرادارات المتطورة على الطرق السريعة والطرق. بحلول عام 2021، سيتمكن رجال الدرك ووكلاء الأمن القومي لمراقبة الطرق من الوصول إلى أكثر من مليار رادار ذكي لحركة المرور في جميع أنحاء العالم. يقدم هذا البحث تقنية ثورية للكشف عن لوحات الترخيص العربية واللاتينية والتعرف عليها. بعد تجميع الصور التي تم جمعها لإنشاء مجموعة بيانات جديدة، استخدمنا YOLO v7 لتحديد موقع لوحة الأرقام في الصورة والتعرف عليها كخطوة أولى للإجراء المقترح. قبل تغذية مجموعة البيانات إلى نظام الكشف، تم تصنيفها يدويًا. بعد ذلك، قمنا بتحسين لوحة الترخيص المعترف بها باستخدام أساليب التعلم الآلي. للقيام بذلك، استخدمنا طرق النواة بالإضافة إلى العتبة للتخلص من الخطوط العمودية الإضافية على اللوحة. بعد ذلك، استخدمنا التعرف الضوئي على الحروف باللغة العربية جنبًا إلى جنب مع طرق التعرف الضوئي على الحروف سهلة لفك رموز الحروف اللاتينية والعربية على لوحة الأرقام. في نهاية المطاف، حققت الطريقة المقترحة درجة F1 بنسبة 98 ٪،بدقة واسترجاع بنسبة 97 ٪ و 98 ٪ على التوالي. كما حصلنا على دقة 99 ٪ لتجزئة الصور. أظهرت نتائج التجزئة والكشف من الاستراتيجية المقترحة نتائج مرضية. La détection des plaques d'immatriculation n'a jamais été facile, notamment avec la prolifération de radars sophistiqués sur les autoroutes et les routes. D'ici 2021, les agents de contrôle routier de la gendarmerie et de la sécurité nationale auront accès à plus d'un milliard de radars de circulation intelligents dans le monde. Cette recherche présente une technique révolutionnaire pour détecter et reconnaître les plaques d'immatriculation arabes et latines. Après avoir assemblé les images rassemblées pour créer un nouvel ensemble de données, nous avons utilisé YOLO v7 pour localiser et identifier la plaque d'immatriculation dans l'image comme première étape de la procédure suggérée. Avant que l'ensemble de données ne soit fourni au système de détection, il était étiqueté manuellement. Par la suite, nous avons amélioré la plaque d'immatriculation reconnue en utilisant des méthodes d'apprentissage automatique. Pour ce faire, nous avons utilisé les méthodes du noyau ainsi que le seuillage pour éliminer les lignes verticales supplémentaires sur la plaque. Après cela, nous avons utilisé l'OCR arabe ainsi que des méthodes d'OCR faciles pour déchiffrer les caractères latins et arabes sur la plaque d'immatriculation. Finalement, la méthode proposée a atteint un score F1 de 98%,avec une précision et un rappel de 97% et 98%, respectivement. Nous avons également obtenu une précision de 99 % pour la segmentation des images. Les résultats de segmentation et de détection de la stratégie suggérée ont montré des résultats satisfaisants. La detección de matrículas nunca ha sido fácil, especialmente con la proliferación de radares sofisticados en carreteras y caminos. Para 2021, la gendarmería y los agentes de control vial de Seguridad Nacional tendrán acceso a más de mil millones de radares de tráfico inteligentes en todo el mundo. Esta investigación presenta una técnica revolucionaria para detectar y reconocer matrículas árabes y latinas. Después de ensamblar las imágenes recopiladas para crear un conjunto de datos novedoso, utilizamos Yolo v7 para localizar e identificar la matrícula en la imagen como el primer paso del procedimiento sugerido. Antes de alimentar el conjunto de datos al sistema de detección, se etiquetó manualmente. Posteriormente, mejoramos la matrícula reconocida utilizando métodos de aprendizaje automático. Para hacer esto, utilizamos métodos de núcleo, así como umbrales para deshacernos de las líneas verticales adicionales en la placa. Después de eso, empleamos OCR árabe junto con métodos OCR fáciles para descifrar los caracteres latinos y árabes en la matrícula. Finalmente, el método propuesto alcanzó una puntuación F1 del 98%,con una precisión y recordación del 97% y 98%, respectivamente. También obtuvimos una precisión del 99% para la segmentación de imágenes. Los resultados de segmentación y detección de la estrategia sugerida han mostrado resultados satisfactorios.