Image-Based Arabic Sign Language Recognition System Using Transfer Deep Learning Models نظام التعرف على لغة الإشارة العربية القائم على الصور باستخدام نماذج التعلم العميق للنقل Système de reconnaissance de la langue des signes arabe basé sur l'image à l'aide de modèles d'apprentissage profond de transfert Sistema de reconocimiento de lengua de signos árabe basado en imágenes utilizando modelos de aprendizaje profundo de transferencia

Sign language is a unique communication tool helping to bridge the gap between people with hearing impairments and the general public. It holds paramount importance for various communities, as it allows individuals with hearing difficulties to communicate effectively. In sign languages, there are numerous signs, each characterized by differences in hand shapes, hand positions, motions, facial expressions, and body parts used to convey specific meanings. The complexity of visual sign language recognition poses a significant challenge in the computer vision research area. This study presents an Arabic Sign Language recognition (ArSL) system that utilizes convolutional neural networks (CNNs) and several transfer learning models to automatically and accurately identify Arabic Sign Language characters. The dataset used for this study comprises 54,049 images of ArSL letters. The results of this research indicate that InceptionV3 outperformed other pretrained models, achieving a remarkable 100% accuracy score and a 0.00 loss score without overfitting. These impressive performance measures highlight the distinct capabilities of InceptionV3 in recognizing Arabic characters and underscore its robustness against overfitting. This enhances its potential for future research in the field of Arabic Sign Language recognition. لغة الإشارة هي أداة تواصل فريدة تساعد على سد الفجوة بين الأشخاص الذين يعانون من إعاقات سمعية وعامة الناس. وهي ذات أهمية قصوى لمختلف المجتمعات، لأنها تسمح للأفراد الذين يعانون من صعوبات في السمع بالتواصل بشكل فعال. في لغات الإشارة، هناك العديد من العلامات، تتميز كل منها بالاختلافات في أشكال اليد، ومواضع اليد، والحركات، وتعبيرات الوجه، وأجزاء الجسم المستخدمة لنقل معاني محددة. يشكل تعقيد التعرف على لغة الإشارة البصرية تحديًا كبيرًا في مجال أبحاث رؤية الكمبيوتر. تقدم هذه الدراسة نظام التعرف على لغة الإشارة العربية (ArSL) الذي يستخدم الشبكات العصبية الالتفافية (CNNs) والعديد من نماذج التعلم المنقولة لتحديد أحرف لغة الإشارة العربية تلقائيًا وبدقة. تتكون مجموعة البيانات المستخدمة في هذه الدراسة من 54,049 صورة لحروف أرسل. تشير نتائج هذا البحث إلى أن InceptionV3 تفوقت على النماذج الأخرى المدربة مسبقًا، وحققت درجة دقة ملحوظة بنسبة 100 ٪ ودرجة خسارة 0.00 دون الإفراط في التجهيز. تسلط مقاييس الأداء المثيرة للإعجاب هذه الضوء على القدرات المتميزة لـ InceptionV3 في التعرف على الأحرف العربية وتؤكد قوتها ضد الإفراط في التجهيز. وهذا يعزز قدرتها على البحث المستقبلي في مجال التعرف على لغة الإشارة العربية. La langue des signes est un outil de communication unique qui aide à combler le fossé entre les personnes malentendantes et le grand public. Il revêt une importance capitale pour diverses communautés, car il permet aux personnes ayant des difficultés auditives de communiquer efficacement. Dans les langues des signes, il existe de nombreux signes, chacun caractérisé par des différences dans les formes des mains, les positions des mains, les mouvements, les expressions faciales et les parties du corps utilisées pour transmettre des significations spécifiques. La complexité de la reconnaissance de la langue des signes visuelle pose un défi important dans le domaine de la recherche en vision par ordinateur. Cette étude présente un système de reconnaissance de la langue des signes arabe (ArSL) qui utilise des réseaux neuronaux convolutionnels (CNN) et plusieurs modèles d'apprentissage par transfert pour identifier automatiquement et avec précision les caractères de la langue des signes arabe. L'ensemble de données utilisé pour cette étude comprend 54 049 images de lettres ArSL. Les résultats de cette recherche indiquent qu'InceptionV3 a surpassé les autres modèles pré-entraînés, obtenant un score de précision remarquable de 100 % et un score de perte de 0,00 sans ajustement excessif. Ces mesures de performance impressionnantes soulignent les capacités distinctes d'InceptionV3 à reconnaître les caractères arabes et soulignent sa robustesse contre le surajustement. Cela renforce son potentiel pour de futures recherches dans le domaine de la reconnaissance de la langue des signes arabe. El lenguaje de señas es una herramienta de comunicación única que ayuda a cerrar la brecha entre las personas con discapacidades auditivas y el público en general. Tiene una importancia primordial para varias comunidades, ya que permite que las personas con dificultades auditivas se comuniquen de manera efectiva. En los lenguajes de señas, hay numerosos signos, cada uno caracterizado por diferencias en las formas de las manos, las posiciones de las manos, los movimientos, las expresiones faciales y las partes del cuerpo utilizadas para transmitir significados específicos. La complejidad del reconocimiento visual del lenguaje de señas plantea un desafío significativo en el área de investigación de la visión artificial. Este estudio presenta un sistema de reconocimiento de lenguaje de señas árabe (ArSL) que utiliza redes neuronales convolucionales (CNN) y varios modelos de aprendizaje de transferencia para identificar de forma automática y precisa los caracteres del lenguaje de señas árabe. El conjunto de datos utilizado para este estudio comprende 54.049 imágenes de letras ArSL. Los resultados de esta investigación indican que InceptionV3 superó a otros modelos preentrenados, logrando una notable puntuación de precisión del 100% y una puntuación de pérdida de 0,00 sin sobreajustar. Estas impresionantes medidas de rendimiento destacan las capacidades distintivas de InceptionV3 para reconocer caracteres árabes y subrayan su solidez contra el sobreajuste. Esto mejora su potencial para futuras investigaciones en el campo del reconocimiento de la lengua de signos árabe.