iCompass Working Notes for the Nuanced Arabic Dialect Identification Shared task ملاحظات عمل iCompass للمهمة المشتركة لتحديد اللهجة العربية الدقيقة notes de travail iCompass pour la tâche partagée d'identification du dialecte arabe nuancé notas de trabajo de iCompass para la tarea compartida de identificación de dialectos árabes matizados

We describe our submitted system to the Nuanced Arabic Dialect Identification (NADI) shared task.We tackled only the first subtask (Subtask 1).We used state-of-the-art Deep Learning models and pre-trained contextualized text representation models that we finetuned according to the downstream task in hand.As a first approach, we used BERT Arabic variants: MARBERT with its two versions MARBERT v1 and MARBERT v2, then we combined MARBERT embeddings with a CNN classifier, and finally, we tested the Quasi-Recurrent Neural Networks (QRNN) model.The results found show that version 2 of MAR-BERT outperforms all of the previously mentioned models on Subtask 1. نحن نصف نظامنا المقدم إلى المهمة المشتركة لتحديد اللهجة العربية (NADI). عالجنا فقط المهمة الفرعية الأولى (المهمة الفرعية 1). استخدمنا أحدث نماذج التعلم العميق ونماذج تمثيل النص السياقية المدربة مسبقًا والتي قمنا بضبطها وفقًا للمهمة النهائية في متناول اليد. كنهج أول، استخدمنا المتغيرات العربية BERT: MARBERT بنسختيها MARBERT v1 و MARBERT v2، ثم قمنا بدمج MARBERT Embeddings مع مصنف CNN، وأخيرًا، اختبرنا نموذج الشبكات العصبية شبه المتكررة (QRNN). أظهرت النتائج أن الإصدار 2 من MAR - BERT يتفوق على جميع النماذج المذكورة سابقًا في المهمة الفرعية 1. Nous décrivons notre système soumis à la tâche partagée Nuanced Arabic Dialect Identification (NADI). Nous n'avons abordé que la première sous-tâche (sous-tâche 1). Nous avons utilisé des modèles d'apprentissage profond de pointe et des modèles de représentation de texte contextualisé pré-entraînés que nous avons affinés en fonction de la tâche en aval en cours. Dans une première approche, nous avons utilisé des variantes arabes de BERT : MARBERT avec ses deux versions MARBERT v1 et MARBERT v2, puis nous avons combiné les intégrations MARBERT avec un classificateur CNN, et enfin, nous avons testé le modèle Quasi-Recurrent Neural Networks (QRNN). Les résultats trouvés montrent que la version 2 de MAR-BERT surpasse tous les modèles mentionnés précédemment sur la sous-tâche 1. Describimos nuestro sistema enviado a la tarea compartida de identificación de dialectos árabes matizados (NADI). Abordamos solo la primera subtarea (subtarea 1). Utilizamos modelos de aprendizaje profundo de última generación y modelos de representación de texto contextualizados preentrenados que ajustamos de acuerdo con la tarea posterior. Como primer enfoque, utilizamos variantes árabes BERT: MARBERT con sus dos versiones MARBERT v1 y MARBERT v2, luego combinamos incrustaciones MARBERT con un clasificador CNN y, finalmente, probamos el modelo de redes neuronales cuasi recurrentes (QRNN). Los resultados encontrados muestran que la versión 2 de MAR-BERT supera a todos los modelos mencionados anteriormente en la subtarea 1.