dofbi/AI4Wolof

Evaluating the performance of Large Language Models (LLM) in Wolof language # AI4Wolof Evaluating the performance of Large Language Models (LLM) in Wolof language ## Introduction ### 1. Objectifs du Document L'objectif de ce projet est d'évaluer les performances des modèles de grande envergure (LLM) en langue Wolof. Cette évaluation comprendra la traduction, la génération de texte, la compréhension de texte et l'analyse grammaticale. Les résultats de cette évaluation seront publiés sur un site web dédié, afin de promouvoir l'utilisation des LLM dans le traitement de la langue Wolof et d'encourager les développements futurs. ### 2. Contexte et Importance de la Langue Wolof Le Wolof est l'une des langues les plus parlées au Sénégal et dans certaines régions de la Gambie et de la Mauritanie. Malgré sa prévalence, il y a un manque significatif de ressources numériques et d'outils de traitement automatique pour cette langue. À une époque où les technologies de traitement de la langue naturelle (NLP) jouent un rôle crucial dans l'amélioration de la communication et de l'accessibilité de l'information, il est essentiel de développer et d'évaluer des modèles capables de comprendre et de générer du texte en Wolof. Les technologies NLP peuvent grandement contribuer à la préservation et à la promotion des langues africaines comme le Wolof, en facilitant leur intégration dans les services numériques modernes et en améliorant l'accès à l'information pour les locuteurs natifs. Ce projet vise à combler une partie de ce fossé en fournissant une évaluation systématique et détaillée des capacités des LLM en Wolof. --- ## 2. Tâches ### 1. Traduction | N° | Models | Wolof Scores (0-1) | |---|---|---| | 1 | gemini-2.0-flash-exp | 0.685 | | 2 | anthropic:claude-3-5-sonnet-latest | 0.663 | | 3 | openai/chatgpt-4o-latest | 0.658 | | 4 | deepseek/deepseek-r1 | 0.546 | | 5 | openai/gpt-4o-mini | 0.532 | | 6 | anthropic:claude-3-5-haiku-latest | 0.505 | | 7 | mistralai/mistral-large-2411 | 0.454 | | 8 | soynade-research/Oolel-v0.1 | 0.450 …