Large Language Models Adaptation for Low-resource Languages: The Case for African Languages

David Ifeoluwa Adelani (Supervisor) Despite remarkable advances in Large Language Models (LLMs), African languagesremain critically underserved by the current training and adaptation pipeline. This thesisaddresses the fundamental bottlenecks in adapting LLMs for low-resource languagesthrough a unified two-stage investigation: benchmarking via Supervised Fine-Tuning(SFT) and foundational adaptation via Continued Pre-Training (CPT).Our first contribution is INJONGO, a natively-generated multicultural benchmark forintent classification and slot-filling spanning 16 African languages. Crucially, INJONGO isnon-contaminated—not included in the training data of the LLMs we evaluate—ensuringfair assessment. Our experiments yield two key findings: (1) SFT effectively adaptsdecoder-only LLMs to downstream tasks, demonstrating the viability of task-specificalignment; and (2) encoder models pre-trained on African languages (e.g., AfroXLMR-76L)with SFT dramatically outperform those without such exposure. This second findingdirectly motivates our subsequent work: if pre-training on African languages benefits encodersso significantly, the same principle should apply to decoder-only LLMs.Building on this insight, our second contribution is AfriqueLLM, a suite of modelsadapted for 20 African languages via CPT on 26 billion tokens. We systematically investi-gate data mixture strategies required to maintain general capabilities while adapting lan-guage. Our findings demonstrate that incorporating code, mathematics, and synthetic dataprevents catastrophic forgetting. We further identify a “Zero-to-Hero” phenomenon: mod-els with strong architectural foundations (e.g., Qwen 3) adapt more effectively than thosewith broader but shallower multilingual coverage. Our flagship model, AfriqueQwen-14B,achieves state-of-the-art results on African benchmarks, emphasizing that data composi-tion and architectural choice are the primary drivers of successful low-resource adaptation.All datasets, models, and code are publicly released to support the development ofrobust LLMs for the African continent. Malgré les avancées remarquables des grands modèles de langage (LLM), les languesafricaines restent gravement sous-desservies par le pipeline actuel de formation et d’adaptation.Cette thèse aborde les goulots d’étranglement fondamentaux dans l’adaptation des LLMpour les langues à faibles ressources à travers une enquête unifiée en deux étapes : lebenchmarking via le fine-tuning supervisé (SFT) et l’adaptation fondamentale via lapré-formation continue (CPT).Notre première contribution est INJONGO, un benchmark multiculturel généré native-ment pour la classification des intentions et le remplissage des emplacements couvrant16 langues africaines. Crucialement, INJONGO est non contaminé—non inclus dans lesdonnées d’entraînement des LLM que nous évaluons—assurant une évaluation équitable.Nos expériences révèlent deux résultats clés : (1) le SFT adapte efficacement les LLMdécodeurs aux tâches en aval ; et (2) les modèles encodeurs pré-entraînés sur les languesafricaines (par exemple, AfroXLMR-76L) surpassent considérablement ceux sans cetteexposition. Ce second résultat motive directement notre travail ultérieur : si la pré-formationsur les langues africaines bénéficie tant aux encodeurs, le même principe devrait s’appliquer auxLLM décodeurs.Partant de cette idée, notre deuxième contribution est AfriqueLLM, une suite demodèles adaptés pour 20 langues africaines via CPT sur 26 milliards de tokens. Nousenquêtons systématiquement sur les stratégies de mélange de données nécessaires pourmaintenir les capacités générales tout en adaptant la langue. Nos résultats démontrentque l’incorporation de code, de mathématiques et de données synthétiques prévientl’oubli catastrophique. Nous identifions en outre un phénomène “Zéro-à-Héros” : lesmodèles avec de fortes fondations architecturales (par exemple, Qwen 3) s’adaptent plusefficacement que ceux avec une couverture multilingue plus large mais plus superficielle.Notre modèle phare, AfriqueQwen-14B, atteint des résultats état de l’art sur les benchmarksafricains.Tous les ensembles de données, modèles et codes sont publiquement disponibles poursoutenir le développement de LLM robustes pour le continent africain. Despite remarkable advances in Large Language Models (LLMs), African languagesremain critically underserved by the current training and adaptation pipeline. This thesisaddresses the fundamental bottlenecks in adapting LLMs for low-resource languagesthrough a unified two-stage investigation: benchmarking via Supervised Fine-Tuning(SFT) and foundational adaptation via Continued Pre-Training (CPT).Our first contribution is INJONGO, a natively-generated multicultural benchmark forintent classification and slot-filling spanning 16 African languages. Crucially, INJONGO isnon-contaminated—not included in the training data of the LLMs we evaluate—ensuringfair assessment. Our experiments yield two key findings: (1) SFT effectively adaptsdecoder-only LLMs to downstream tasks, demonstrating the viability of task-specificalignment; and (2) encoder models pre-trained on African languages (e.g., AfroXLMR-76L)with SFT dramatically outperform those without such exposure. This second findingdirectly motivates our subsequent work: if pre-training on African languages benefits encodersso significantly, the same principle should apply to decoder-only LLMs.Building on this insight, our second contribution is AfriqueLLM, a suite of modelsadapted for 20 African languages via CPT on 26 billion tokens. We systematically investi-gate data mixture strategies required to maintain general capabilities while adapting lan-guage. Our findings demonstrate that incorporating code, mathematics, and synthetic dataprevents catastrophic forgetting. We further identify a “Zero-to-Hero” phenomenon: mod-els with strong architectural foundations (e.g., Qwen 3) adapt more effectively than thosewith broader but shallower multilingual coverage. Our flagship model, AfriqueQwen-14B,achieves state-of-the-art results on African benchmarks, emphasizing that data composi-tion and architectural choice are the primary drivers of successful low-resource adaptation.All datasets, models, and code are publicly released to support the development ofrobust LLMs for the African continent. Malgré les avancées remarquables des grands modèles de langage (LLM), les languesafricaines restent gravement sous-desservies par le pipeline actuel de formation et d’adaptation.Cette thèse aborde les goulots d’étranglement fondamentaux dans l’adaptation des LLMpour les langues à faibles ressources à travers une enquête unifiée en deux étapes : lebenchmarking via le fine-tuning supervisé (SFT) et l’adaptation fondamentale via lapré-formation continue (CPT).Notre première contribution est INJONGO, un benchmark multiculturel généré native-ment pour la classification des intentions et le remplissage des emplacements couvrant16 langues africaines. Crucialement, INJONGO est non contaminé—non inclus dans lesdonnées d’entraînement des LLM que nous évaluons—assurant une évaluation équitable.Nos expériences révèlent deux résultats clés : (1) le SFT adapte efficacement les LLMdécodeurs aux tâches en aval ; et (2) les modèles encodeurs pré-entraînés sur les languesafricaines (par exemple, AfroXLMR-76L) surpassent considérablement ceux sans cetteexposition. Ce second résultat motive directement notre travail ultérieur : si la pré-formationsur les langues africaines bénéficie tant aux encodeurs, le même principe devrait s’appliquer auxLLM décodeurs.Partant de cette idée, notre deuxième contribution est AfriqueLLM, une suite demodèles adaptés pour 20 langues africaines via CPT sur 26 milliards de tokens. Nousenquêtons systématiquement sur les stratégies de mélange de données nécessaires pourmaintenir les capacités générales tout en adaptant la langue. Nos résultats démontrentque l’incorporation de code, de mathématiques et de données synthétiques prévientl’oubli catastrophique. Nous identifions en outre un phénomène “Zéro-à-Héros” : lesmodèles avec de fortes fondations architecturales (par exemple, Qwen 3) s’adaptent plusefficacement que ceux avec une couverture multilingue plus large mais plus superficielle.Notre modèle phare, AfriqueQwen-14B, atteint des résultats état de l’art sur les benchmarksafricains.Tous les ensembles de données, modèles et codes sont publiquement disponibles poursoutenir le développement de LLM robustes pour le continent africain.