Spoken Arabic Dialect Identification Using Motif Discovery التعرف على اللهجة العربية المنطوقة باستخدام اكتشاف الحافز Identification du dialecte arabe parlé à l'aide de la découverte de motifs Identificación de dialectos árabes hablados mediante el descubrimiento de motivos

In traditional Dialect Identification (DID) approaches, regardless of the level and type of features used for identification,they use either predefined references such as phones, phonemes, or even acoustic sounds that characterize a language/dialect, or involve some sort of transcription of the input data. The transcription may be manual or automatic using tools such as ASRs,Tokenizers, or Phone Recognizers. In this paper, we introduce a new approach based on analyzing the speech signal directly and extracting the features that characterize the dialect without any predefined references and without any sort of transcription. The main idea is that we find the repeated sequences (motifs) of the dialect by treating the speech signal as a times series, so we can apply motif discovery techniques to extract the repeated sequences directly from the speech signal. For motif extraction, weadopted an extremely fast parameter-free Self-Join motif discovery algorithm called Scalable Time series Ordered-search Matrix Profile (STOMP). We implemented the new approach in two stages; in the first we built a base line system in which we extracted 12 Mel Frequency Cepstral Coefficients (MFCC) from each motif, in the second stage we built an improved system using 39 coefficients by adding 13 Delta coefficients, 13 Delta-Delta coefficients, and 1 Log Energy coefficient. In both systems, we used Gaussian Mixture Model-Universal Background Model (GMM-UBM) as a classifier. We applied our new approach on threedifferent motif lengths 500ms, 1000ms, and 1500ms using 1gmm component up to 2048gmm components. We downloaded the data set from Qatar-Computing-Research- Institute domain. We carried out our experiments on different Arabic dialects: the Egyptian (EGY), Gulf (GLF), Levantine (LEV), and North African (NOR).The base line results were very competitive with the traditional, more sophisticated approaches, while the improved system showed very good result. The improvement was so significant that we can consider the new approach as competitive, simple, and dialect-independent approach. في مناهج تحديد اللهجة التقليدية (DID)، بغض النظر عن مستوى ونوع الميزات المستخدمة لتحديد الهوية،فإنها تستخدم إما مراجع محددة مسبقًا مثل الهواتف أو الصوتيات أو حتى الأصوات الصوتية التي تميز اللغة/اللهجة، أو تنطوي على نوع من النسخ لبيانات الإدخال. قد يكون النسخ يدويًا أو تلقائيًا باستخدام أدوات مثل ASRs أوTokenizers أو Phone Recognizers. في هذه الورقة، نقدم نهجًا جديدًا يعتمد على تحليل إشارة الكلام مباشرة واستخراج الميزات التي تميز اللهجة دون أي مراجع محددة مسبقًا ودون أي نوع من النسخ. الفكرة الرئيسية هي أننا نجد المتواليات المتكررة (الزخارف) لللهجة من خلال التعامل مع إشارة الكلام كسلسلة زمنية، حتى نتمكن من تطبيق تقنيات اكتشاف الزخارف لاستخراج المتواليات المتكررة مباشرة من إشارة الكلام. لاستخراج الزخارف، اعتمدت weadopted خوارزمية اكتشاف زخارف ذاتية الانضمام سريعة للغاية وخالية من المعلمات تسمى Scalable Time series Ordered - search Matrix Profile (STOMP). قمنا بتنفيذ النهج الجديد على مرحلتين ؛ في المرحلة الأولى، قمنا ببناء نظام خط أساسي استخرجنا فيه 12 من معاملات MEL Cepstral (MFCC) من كل نموذج، وفي المرحلة الثانية قمنا ببناء نظام محسن باستخدام 39 من المعاملات بإضافة 13 من معاملات دلتا، و 13 من معاملات دلتا- دلتا، ومعامل طاقة لوغاريتمي واحد. في كلا النظامين، استخدمنا Gaussian Mixture Model - Universal Background Model (GMM - UBM) كمصنف. طبقنا نهجنا الجديد على أطوال الأشكال المختلفة 500 مللي ثانية و 1000 مللي ثانية و 1500 مللي ثانية باستخدام مكون 1 غم حتى مكونات 2048 غم. قمنا بتنزيل مجموعة البيانات من نطاق معهد قطر للحوسبة والبحوث. أجرينا تجاربنا على اللهجات العربية المختلفة: المصرية (EGY) والخليجية (GLF) والمشرقية (LEV) وشمال إفريقيا (NOR). كانت نتائج الخط الأساسي تنافسية للغاية مع الأساليب التقليدية الأكثر تطوراً، في حين أظهر النظام المحسن نتيجة جيدة للغاية. كان التحسن كبيرًا لدرجة أنه يمكننا اعتبار النهج الجديد نهجًا تنافسيًا وبسيطًا ومستقلًا عن اللهجة. Dans les approches traditionnelles d'identification de dialecte (DID), quels que soient le niveau et le type de fonctionnalités utilisées pour l'identification,elles utilisent soit des références prédéfinies telles que des téléphones, des phonèmes, ou même des sons acoustiques qui caractérisent une langue/dialecte, ou impliquent une sorte de transcription des données d'entrée. La transcription peut être manuelle ou automatique à l'aide d'outils tels que les ASR, les Tokenizers ou les Phone Recognizers. Dans cet article, nous introduisons une nouvelle approche basée sur l'analyse directe du signal de parole et l'extraction des caractéristiques qui caractérisent le dialecte sans références prédéfinies et sans aucune sorte de transcription. L'idée principale est que nous trouvons les séquences répétées (motifs) du dialecte en traitant le signal de parole comme une série temporelle, afin que nous puissions appliquer des techniques de découverte de motifs pour extraire les séquences répétées directement du signal de parole. Pour l'extraction de motifs, nous avons adopté un algorithme de découverte de motifs d'auto-jonction extrêmement rapide et sans paramètre appelé Scalable Time series Ordered-search Matrix Profile (STOMP). Nous avons mis en œuvre la nouvelle approche en deux étapes ; dans la première, nous avons construit un système de ligne de base dans lequel nous avons extrait 12 coefficients cepstraux de fréquence Mel (MFCC) de chaque motif, dans la deuxième étape, nous avons construit un système amélioré utilisant 39 coefficients en ajoutant 13 coefficients Delta, 13 coefficients Delta-Delta et 1 coefficient Log Energy. Dans les deux systèmes, nous avons utilisé le modèle de mélange gaussien-modèle de fond universel (GMM-UBM) comme classificateur. Nous avons appliqué notre nouvelle approche sur trois longueurs de motifs différentes de 500 ms, 1000 ms et 1500 ms en utilisant des composants de 1 gmm jusqu'à 2048 gmm. Nous avons téléchargé l'ensemble de données du domaine Qatar-Computing-Research- Institute. Nous avons effectué nos expériences sur différents dialectes arabes : l'égyptien (EGY), le golfe (GLF), le levantin (LEV) et nord-africain (NOR). Les résultats de base ont été très compétitifs par rapport aux approches traditionnelles plus sophistiquées, tandis que le système amélioré a montré de très bons résultats. L'amélioration était si significative que nous pouvons considérer la nouvelle approche comme une approche compétitive, simple et indépendante du dialecte. En los enfoques tradicionales de identificación de dialectos (DID), independientemente del nivel y tipo de características utilizadas para la identificación,utilizan referencias predefinidas como teléfonos, fonemas o incluso sonidos acústicos que caracterizan un idioma/dialecto, o implican algún tipo de transcripción de los datos de entrada. La transcripción puede ser manual o automática utilizando herramientas como ASR,Tokenizers o Phone Recognizers. En este artículo, presentamos un nuevo enfoque basado en analizar la señal del habla directamente y extraer los rasgos que caracterizan el dialecto sin referencias predefinidas y sin ningún tipo de transcripción. La idea principal es que encontremos las secuencias repetidas (motivos) del dialecto tratando la señal de voz como una serie temporal, por lo que podemos aplicar técnicas de descubrimiento de motivos para extraer las secuencias repetidas directamente de la señal de voz. Para la extracción de motivos, adoptamos un algoritmo de descubrimiento de motivos de Self-Join extremadamente rápido y sin parámetros llamado Scalable Time series Ordered-search Matrix Profile (STOMP). Implementamos el nuevo enfoque en dos etapas; en la primera construimos un sistema de línea base en el que extrajimos 12 Coeficientes Cepstrales de Frecuencia Mel (MFCC) de cada motivo, en la segunda etapa construimos un sistema mejorado utilizando 39 coeficientes mediante la adición de 13 coeficientes Delta, 13 coeficientes Delta-Delta y 1 coeficiente de Log Energy. En ambos sistemas, utilizamos el Modelo de Mezcla Gaussiana-Modelo de Fondo Universal (GMM-UBM) como clasificador. Aplicamos nuestro nuevo enfoque en tres longitudes de motivo diferentes, 500 ms, 1000 ms y 1500 ms, utilizando componentes de 1 gmm hasta 2048 gmm. Descargamos el conjunto de datos del dominio Qatar-Computing-Research- Institute. Llevamos a cabo nuestros experimentos en diferentes dialectos árabes: el egipcio (EGY), el golfo (GLF), el levantino (LEV) y el norte de África (NOR). Los resultados de la línea de base fueron muy competitivos con los enfoques tradicionales y más sofisticados, mientras que el sistema mejorado mostró muy buenos resultados. La mejora fue tan significativa que podemos considerar el nuevo enfoque como competitivo, simple e independiente del dialecto.