Evaluation Mirage: A Layered Evaluation of Large Language Models and Language Identification for African NLP

David Ifeoluwa Adelani (Supervisor) As Large Language Models (LLMs) are increasingly deployed in global contexts, the methodologies used to evaluate them have become the primary lens through which we measure their progress. This thesis argues that evaluation is not a neutral measurement but a methodological choice that actively structures the narrative of progress in NLP. Focusing on the African continent, we assess how current evaluation designs can obscure systemic failure modes and misrepresent model capabilities.We adopt a layered evaluation methodology to diagnose these discrepancies. First, we conduct an extensive evaluation of state-of-the-art LLMs using AfroBench, a multi-task benchmark encompassing 17 tasks, 23 datasets and 64 African languages. To account for the bias arising from task selection and dataset imbalance, we introduce AfroBench-Lite. AfroBench-Lite enforced language consistency across tasks which revealed a high degree of performance fragility, demonstrating that model gains are often highly sensitive to experimental configurations.Beyond downstream performance, this work provides a diagnostic analysis of Language Identification (LID), a foundational component that serves as a gatekeeper for web-scale data collection. We investigate how failures in LID driven by domain shift, register mismatch, and web-native noise, lead to systematic under-representation due to large-scale mislabeling of African languages in training and evaluation corpora. We show that these upstream errors spread through the pipeline, skewing the perceived data availability and linguistic fidelity of resources used by modern LLMs. Collectively, this work reveals an evaluation mirage where optimistic averages mask the fragility of current systems. We conclude by advocating for a shift toward diagnostic, population-aware evaluation frameworks that prioritize linguistic integrity and robustness over reductive leaderboards. À mesure que les grands modèles de langage (LLM) sont déployés à l’échelle mondiale, les méthodologies mobilisées pour les évaluer se sont imposées comme le prisme principal à travers lequel leurs progrès sont appréhendés. Cette thèse défend l’idée que l’évaluation ne constitue pas une mesure neutre, mais un choix méthodologique qui contribue activement à façonner le récit du progrès en traitement automatique des langues (TAL). En prenant pour point d’ancrage le contexte africain, nous montrons comment les cadres d’évaluation dominants peuvent masquer des modes de défaillance systémiques et déformer l’appréciation des capacités réelles des modèles.Pour démontrer ces écarts, nous adoptons une méthodologie d’évaluation stratifiée. Dans un premier temps, nous proposons une étude approfondie des LLM de pointe au moyen d’AfroBench, un benchmark multitâche couvrant 17 tâches, 23 jeux de données et 64 langues africaines. Afin de mieux contrôler les biais liés à la sélection des tâches et aux déséquilibres dans la couverture des données, nous introduisons AfroBench-Lite, une version qui impose une cohérence linguistique entre les tâches. Cette reformulation met en évidence une forte fragilité des performances et montre que les gains observés dépendent souvent beaucoup des choix de configuration expérimentale.Au-delà de l’évaluation des performances en aval, cette thèse propose également une analyse diagnostique de l’identification de la langue (LID), composant fondamental qui joue un rôle central dans la collecte de données à l’échelle du web. Nous examinons comment les défaillances de la LID, provoquées par le décalage de domaine, l’inadéquation des registres linguistiques et le bruit inhérent aux données web, conduisent à une sous-représentation systématique des langues africaines à travers leur mauvais étiquetage massif dans les corpus d’entraînement et d’évaluation. Nous montrons que ces erreurs en amont se répercutent sur l’ensemble de la chaîne de traitement, faussant à la fois la perception de la disponibilité des données et celle de la fidélité linguistique des ressources exploitées par les LLM contemporains.Dans son ensemble, ce travail met en lumière un véritable mirage de l’évaluation, dans lequel des moyennes globalement optimistes dissimulent la fragilité des systèmes actuels. Nous plaidons ainsi pour une évolution vers des cadres d’évaluation diagnostiques, sensibles aux populations concernées, qui privilégient l’intégrité linguistique et la robustesse plutôt que des logiques de classement réductrices. As Large Language Models (LLMs) are increasingly deployed in global contexts, the methodologies used to evaluate them have become the primary lens through which we measure their progress. This thesis argues that evaluation is not a neutral measurement but a methodological choice that actively structures the narrative of progress in NLP. Focusing on the African continent, we assess how current evaluation designs can obscure systemic failure modes and misrepresent model capabilities.We adopt a layered evaluation methodology to diagnose these discrepancies. First, we conduct an extensive evaluation of state-of-the-art LLMs using AfroBench, a multi-task benchmark encompassing 17 tasks, 23 datasets and 64 African languages. To account for the bias arising from task selection and dataset imbalance, we introduce AfroBench-Lite. AfroBench-Lite enforced language consistency across tasks which revealed a high degree of performance fragility, demonstrating that model gains are often highly sensitive to experimental configurations.Beyond downstream performance, this work provides a diagnostic analysis of Language Identification (LID), a foundational component that serves as a gatekeeper for web-scale data collection. We investigate how failures in LID driven by domain shift, register mismatch, and web-native noise, lead to systematic under-representation due to large-scale mislabeling of African languages in training and evaluation corpora. We show that these upstream errors spread through the pipeline, skewing the perceived data availability and linguistic fidelity of resources used by modern LLMs. Collectively, this work reveals an evaluation mirage where optimistic averages mask the fragility of current systems. We conclude by advocating for a shift toward diagnostic, population-aware evaluation frameworks that prioritize linguistic integrity and robustness over reductive leaderboards. À mesure que les grands modèles de langage (LLM) sont déployés à l’échelle mondiale, les méthodologies mobilisées pour les évaluer se sont imposées comme le prisme principal à travers lequel leurs progrès sont appréhendés. Cette thèse défend l’idée que l’évaluation ne constitue pas une mesure neutre, mais un choix méthodologique qui contribue activement à façonner le récit du progrès en traitement automatique des langues (TAL). En prenant pour point d’ancrage le contexte africain, nous montrons comment les cadres d’évaluation dominants peuvent masquer des modes de défaillance systémiques et déformer l’appréciation des capacités réelles des modèles.Pour démontrer ces écarts, nous adoptons une méthodologie d’évaluation stratifiée. Dans un premier temps, nous proposons une étude approfondie des LLM de pointe au moyen d’AfroBench, un benchmark multitâche couvrant 17 tâches, 23 jeux de données et 64 langues africaines. Afin de mieux contrôler les biais liés à la sélection des tâches et aux déséquilibres dans la couverture des données, nous introduisons AfroBench-Lite, une version qui impose une cohérence linguistique entre les tâches. Cette reformulation met en évidence une forte fragilité des performances et montre que les gains observés dépendent souvent beaucoup des choix de configuration expérimentale.Au-delà de l’évaluation des performances en aval, cette thèse propose également une analyse diagnostique de l’identification de la langue (LID), composant fondamental qui joue un rôle central dans la collecte de données à l’échelle du web. Nous examinons comment les défaillances de la LID, provoquées par le décalage de domaine, l’inadéquation des registres linguistiques et le bruit inhérent aux données web, conduisent à une sous-représentation systématique des langues africaines à travers leur mauvais étiquetage massif dans les corpus d’entraînement et d’évaluation. Nous montrons que ces erreurs en amont se répercutent sur l’ensemble de la chaîne de traitement, faussant à la fois la perception de la disponibilité des données et celle de la fidélité linguistique des ressources exploitées par les LLM contemporains.Dans son ensemble, ce travail met en lumière un véritable mirage de l’évaluation, dans lequel des moyennes globalement optimistes dissimulent la fragilité des systèmes actuels. Nous plaidons ainsi pour une évolution vers des cadres d’évaluation diagnostiques, sensibles aux populations concernées, qui privilégient l’intégrité linguistique et la robustesse plutôt que des logiques de classement réductrices.