Building a Corpus for the Underexplored Moroccan Dialect (CFMD) Through Audio Segmentations بناء مجموعة من اللهجات المغربية غير المستكشفة (CFMD) من خلال التقسيمات الصوتية Construire un corpus pour le dialecte marocain sous-exploré (CFMD) grâce à des segmentations audio Construyendo un corpus para el dialecto marroquí no explorado (CFMD) a través de segmentaciones de audio

The advancement of artificial intelligence has deeply influenced numerous domains.One particular area that has experienced remarkable progress is natural language processing.This progress can be largely attributed to the widespread use and popularity of social media platforms.With the increasing use of social media, dialects have taken on a new importance, as the diversity of dialects has an important role to consider in the relevance of Natural Language Processing, as it allows a greater number of people to communicate using a pertinent and appropriate local context.As evidenced by the rise of Chatbots that allow people to interact with machines using their own native dialects.The significance of dialects, especially in the Arabic-speaking world, cannot be understated.Many Arabic dialects have been under-researched and not adequately addressed in natural language processing applications.Among these, the Moroccan dialect stands out, prompting researchers to focus their efforts on understanding and incorporating it into artificial intelligence technologies.To facilitate the development of Chatbots that can effectively understand and respond in Moroccan dialect, the availability of suitable datasets becomes vital.For this reason, we adopt a targeted strategy for creating datasets by exploiting the extensive resources offered by platforms such as YouTube, where audio content is highly diverse in terms of language.This involves classifying each audio according to its theme and dividing it into 30 second segments to simplify manual transcription into text.This meticulous process enabled us to accumulate and annotate a large volume of data.As a result, NLP models built on these extensive and comprehensive datasets can efficiently and accurately understand Moroccan dialect speech and text.With the aim to employ this dataset as training data for the future development of a Moroccan-dialect conversational Chatbot.The methodologies and techniques can be adapted and applied to other underexplored dialects, creating opportunities for further advancements in natural language processing in a global context. أثر تقدم الذكاء الاصطناعي بعمق على العديد من المجالات. ومن المجالات المعينة التي شهدت تقدمًا ملحوظًا معالجة اللغة الطبيعية. ويمكن أن يعزى هذا التقدم إلى حد كبير إلى الاستخدام الواسع والشعبية لمنصات وسائل التواصل الاجتماعي. ومع الاستخدام المتزايد لوسائل التواصل الاجتماعي، اكتسبت اللهجات أهمية جديدة، حيث أن تنوع اللهجات له دور مهم يجب مراعاته في أهمية معالجة اللغة الطبيعية، حيث يسمح لعدد أكبر من الناس بالتواصل باستخدام سياق محلي مناسب ومناسب. كما يتضح من صعود روبوتات الدردشة التي تسمح للناس بالتفاعل مع الآلات باستخدام لهجاتهم الأصلية. لا يمكن التقليل من أهمية اللهجات، خاصة في العالم الناطق باللغة العربية. تم البحث في العديد من اللهجات العربية ولم يتم تناولها بشكل كافٍ في تطبيقات معالجة اللغة الطبيعية. من بين هذه اللهجات، تبرز اللهجة المغربية، مما دفع الباحثين إلى تركيز جهودهم على فهمها ودمجها في تقنيات الذكاء الاصطناعي. لتسهيل تطوير روبوتات الدردشة التي يمكنها فهم اللهجة المغربية والاستجابة لها بشكل فعال، يصبح توافر مجموعات البيانات المناسبة أمرًا حيويًا. لهذا السبب، نعتمد استراتيجية مستهدفة لإنشاء مجموعات البيانات من خلال استغلال الموارد الواسعة التي توفرها منصات مثل يوتيوب، حيث يكون المحتوى الصوتي متنوعًا للغاية من حيث اللغة. يتضمن ذلك تصنيف كل صوت وفقًا لموضوعه وتقسيمه إلى 30 مقطعًا ثانيًا لتبسيط النسخ اليدوي إلى نص. مكنتنا هذه العملية الدقيقة من تجميع كمية كبيرة من البيانات وتعليقها. ونتيجة لذلك، يمكن لنماذج البرمجة اللغوية العصبية المبنية على مجموعات البيانات الواسعة والشاملة هذه أن تفهم بكفاءة ودقة الكلام والنص باللهجة المغربية. بهدف استخدام مجموعة البيانات هذه كبيانات تدريبية للتطوير المستقبلي لـ Chatbot المحادثة باللهجة المغربية. يمكن تكييف المنهجيات والتقنيات وتطبيقها على لهجات أخرى غير مكتشفة، مما يخلق فرصًا لمزيد من التقدم في معالجة اللغة الطبيعية في سياق عالمي. L'avancement de l'intelligence artificielle a profondément influencé de nombreux domaines. Un domaine particulier qui a connu des progrès remarquables est le traitement du langage naturel. Ce progrès peut être largement attribué à l'utilisation généralisée et à la popularité des plateformes de médias sociaux. Avec l'utilisation croissante des médias sociaux, les dialectes ont pris une nouvelle importance, car la diversité des dialectes a un rôle important à considérer dans la pertinence du traitement du langage naturel, car il permet à un plus grand nombre de personnes de communiquer en utilisant un contexte local pertinent et approprié.Tel que démontré par la montée des Chatbots qui permettent aux gens d'interagir avec des machines en utilisant leurs propres dialectes natifs.L' importance des dialectes, en particulier dans le monde arabophone, ne peut pas être sous-estimée.De nombreux dialectes arabes ont été sous-explorés et ne sont pas traités de manière adéquate dans les applications de traitement du langage naturel.Parmi ceux-ci, le dialecte marocain se distingue, incitant les chercheurs à concentrer leurs efforts sur la compréhension et l'intégration dans les technologies d'intelligence artificielle.Pour faciliter le développement de Chatbots qui peuvent comprendre efficacement et répondre en dialecte marocain, la disponibilité d'ensembles de données appropriés devient vitale.Pour cette raison, nous adoptons une stratégie ciblée pour créer des ensembles de données en exploitant les ressources étendues offertes par des plateformes telles que YouTube, où le contenu audio est très diversifié en termes de langue. Cela implique de classer chaque audio en fonction de son thème et de le diviser en segments de 30 secondes pour simplifier la transcription manuelle en texte. Ce processus méticuleux nous a permis d'accumuler et d'annoter un grand volume de données. En conséquence, les modèles de PNL construits sur ces ensembles de données étendus et complets peuvent comprendre efficacement et précisément la parole et le texte en dialecte marocain. Dans le but d'utiliser cet ensemble de données comme données de formation pour le développement futur d'un chatbot conversationnel en dialecte marocain. Les méthodologies et techniques peuvent être adaptées et appliquées à d'autres dialectes sous-explorés, créant ainsi des possibilités de progrès dans le traitement du langage naturel dans un contexte mondial. El avance de la inteligencia artificial ha influido profundamente en numerosos dominios. Un área en particular que ha experimentado un progreso notable es el procesamiento del lenguaje natural. Este progreso puede atribuirse en gran medida al uso generalizado y la popularidad de las plataformas de redes sociales. Con el uso creciente de las redes sociales, los dialectos han adquirido una nueva importancia, ya que la diversidad de dialectos tiene un papel importante que considerar en la relevancia del procesamiento del lenguaje natural, ya que permite que un mayor número de personas se comunique utilizando un contexto local pertinente y apropiado. Como lo demuestra el auge de los chatbots que permiten a las personas interactuar con máquinas utilizando sus propios dialectos nativos. La importancia de los dialectos, especialmente en el mundo de habla árabe, no se puede subestimar. Muchos dialectos árabes han sido poco investigados y no se han abordado adecuadamente en las aplicaciones de procesamiento de lenguaje natural. Entre ellos, el dialecto marroquí se destaca, lo que lleva a los investigadores a centrar sus esfuerzos en comprenderlo e incorporarlo en las tecnologías de inteligencia artificial. Para facilitar el desarrollo de chatbots que puedan comprender y responder eficazmente en dialecto marroquí, la disponibilidad de conjuntos de datos adecuados se vuelve vital. Por esta razón, adoptamos una estrategia específica para crear conjuntos de datos mediante la explotación de los amplios recursos que ofrecen plataformas como YouTube, donde el contenido de audio es muy diverso en términos de lenguaje. Esto implica clasificar cada audio de acuerdo con su tema y dividirlo en segmentos de 30 segundos para simplificar la transcripción manual en texto. Este proceso meticuloso nos permitió acumular y anotar un gran volumen de datos. Como resultado, los modelos de PNL basados en estos conjuntos de datos extensos y completos pueden comprender de manera eficiente y precisa el habla y el texto del dialecto marroquí. Con el objetivo de emplear este conjunto de datos como datos de capacitación para el desarrollo futuro de un chatbot conversacional de dialecto marroquí. Las metodologías y técnicas se pueden adaptar y aplicar a otros dialectos no explorados, creando oportunidades para nuevos avances en el procesamiento del lenguaje natural en un contexto global.