AbdoulayeCSMN/hausa-tokenizer

# Hausa Tokenizer Un tokenizer hybride pour la langue haoussa, combinant analyse morphologique et encodage par paires d'octets (BPE). Concu pour les projets de traitement automatique des langues (TAL/NLP) ciblant le haoussa et ses variantes dialectales. --- ## La langue haoussa Le haoussa (en haoussa : *Harshen Hausa*) est une langue ***afro-asiatique*** de la famille ***tchadique***, parlée par plus de **100 millions de personnes** en Afrique subsaharienne. C'est la langue africaine la plus parlée après le swahili, et elle joue un role de lingua franca essentiel en Afrique de l'Ouest. ### Aire geographique et statut Le haoussa est principalement concentré dans le nord du Nigeria (états de Kano, Katsina, Sokoto, Zaria...) et dans le sud du Niger, où il est langue co-officielle. On le trouve egalement au Ghana, au Benin, au Cameroun, au Tchad, et dans des communautes diasporiques jusqu'en Arabie Saoudite et au Soudan. La BBC, RFI, Deutsche Welle et Voice of America diffusent chacun une radio en haoussa, ce qui temoigne de son rayonnement international. ### Un systeme phonologique remarquable La phonologie du haoussa presente plusieurs traits qui en font un defi particulier pour les systemes NLP : **Consonnes ejectives et implosives** Le haoussa dispose de trois consonnes qui n'existent pas dans les alphabets latins standard : | Caractere | Unicode | Nom | Exemple | Traduction | |-----------|---------|-----|---------|------------| | `ƙ` | U+0199 | K ejectif | *ƙasa* | terre, pays | | `ɗ` | U+0257 | D implosif | *ɗan* | fils de | | `ɓ` | U+0253 | B implosif | *ɓera* | rat | Ces caracteres apparaissent sous de nombreuses variantes d'encodage selon les sources (caron, apostrophe, variantes ASCII), ce qui rend la normalisation indispensable avant toute analyse. **La glottale et l'apostrophe haoussa** L'apostrophe haoussa `ʼ` (U+02BC) marque une consonne coup-de-glotte. Elle se retrouve encodee en `'` ASCII, `'` (guillemet typographique) ou en `ʼ` selon les c …