iyedex-labs/tunisian-data

Public repository containing Tunisian datasets for use in 3amali and other Tunisian AI projects # 🇹🇳 TUNISIAN DATA HUB ## THE OPEN NATIONAL DATASET FOR ARTIFICIAL INTELLIGENCE *(المكتبة الوطنية المفتوحة للذكاء الاصطناعي والبيانات)* Tunisian Data Hub is a massive, high-granularity digital library created and licensed by **IyedeX**. This repository is the foundational training ground for **3amAli** and any future Tunisian AI models. It is designed to be the "Wikipedia of Tunisian Data"—open for the community to enrich, refine, and expand. > **💡 بالتونسي:** > هذا مشروع كبير باش ننجّموا نعملوا "ذكاء اصطناعي" تونسي 100%. هذه هي القاعدة متاع "عم علي". أي واحد فينا ينجم يعاون، حتى بكلمة ولا بنكتة ولا بوصفة متع ماكلة. هذي كيما "ويكيبيديا" متاعنا أحنا. --- ## PROJECT CORE ARCHITECTURE *(كيفاش مقسمة الخدمة؟)* The structure is optimized for **Large Language Models (LLMs)**. We use a folder-based structure where data is separated by **Script Type** (Tunisian Arabic Script vs. Franco/Latin Script). > **💡 ساهلة برشا:** > قسمنا الداتا لملفات حسب النوع (كيما الأسئلة والأجوبة `q_a`)، وفي وسط كل نوع, نقسموهم حسب الكتيبه: يا اما بالعربي (tunisian) يا اما بالاحرف اللاتينية (franco). ### Directory Structure *(هيكلة الملفات)* ```text tunisian-data/ ├── data/ │ └── text/ │ ├── q_a/ | Question & Answer Datasets (سؤال وجواب) │ │ ├── franco/ | Files written in Latin script + numbers (فرونكو) │ │ │ └── education.jsonl │ │ └── tunisian/ | Files written in Arabic script (تونسي بالعربي) │ │ └── general.jsonl │ ├── dictionary/ | (قاموس) │ ├── knowledge/ | (ثقافة عامة) │ └── lifestyle/ | (نمط عيش) └── docs/ ├── metadata_standards.md └── contribution_guide.md ``` --- ## DATA FORMATS *(كيفاش نكتبوا الداتا؟)* We use **JSONL (JSON Lines)** format. Each line is a separate JSON object containing a question `q` and an answer `a`. > **💡 اهم قاعدة:** > كل سطر داتا لازمو يكون فيه "سؤال" و "جواب". ما نخلطوش العربي مع الفرونكو في نفس الملف. ### 1. Franco (Tunizi) …