Abmstpha/AI-Mizan

Dataset of structured prompts to evaluate any LLM’s ability to understand(written and spoken forms) and generate Hassaniya. # ميزان (AI Mizan) 🇲🇷 **AI Mizan** هو مشروع لتقييم قدرات الذكاء الاصطناعي (LLMs) في فهم وإنتاج اللهجة الحسانية الموريتانية. نحن لا نعتمد على المقاييس الآلية المعقدة (مثل BLEU score)، بل نؤمن بأن **التقييم البشري المباشر** هو الطريقة الوحيدة لقياس الفهم الحقيقي للهجات قليلة المصادر. --- ## الفكرة (الرؤية) معظم قواعد البيانات تركز على اللغات الكبرى أو الفصحى. "ميزان" يهدف لكشف الفجوة في التعامل مع اللهجة الحسانية من خلال: 1. **الفهم (Understanding)**: هل يفهم النموذج الجملة الحسانية؟ (نختبره بجمل حسانية). 2. **الإنتاج (Generation)**: هل يستطيع التحدث بالحسانية بطلاقة؟ (نطلب منه ترجمة جمل إنجليزية للحسانية). 3. **التقييم البشري (Manual Eval)**: أنت الحكم! قارن الإجابات وقيمها بنفسك. --- ## هيكلة المشروع ```text AI-Mizan/ │ ├── data/ │ ├── mizan_benchmark.csv # ملف التقييم الرئيسي (أضف جملك هنا) │ ├── docs/ # شرح تفصيلي لطريقة المساهمة ├── scripts/ # أدوات برمجية (للمبرمجين فقط) └── README.md ``` --- ## كيفية المساهمة (ببساطة) لا تحتاج لخبرة برمجية للمشاركة. 1. حمل ملف `data/mizan_benchmark.csv`. 2. انسخ جملة من العمود الأول (`sentence`). 3. جربها بنفسك على ChatGPT أو Gemini أو أي نموذج آخر. 4. ضع إجابة النموذج في العمود المخصص له. 5. في عمود الملاحظات (`notes`)، اكتب تعليقك: هل الإجابة صحيحة؟ هل هي مضحكة؟ هل استخدم كلمة خاطئة؟ لمزيد من التفاصيل، اقرأ دليل المساهمة. --- ## للمبرمجين يحتوي المجلد `scripts/` على أدوات بلغة Python لتحويل الملفات (`convert_csv_to_excel.py`)، ويحتوي `examples/` على أمثلة لاستدعاء الـ APIs، لكن هذه الأدوات اختيارية تماماً.