zinebhh/morocco-data-intelligence-platform

End-to-end Big Data, Data Engineering, Data Science and AI platform for Moroccan university data. # Morocco Data Intelligence Platform (EduData Morocco) Plateforme Cloud-Native de Big Data & IA pour l'analyse des universités marocaines. ## 📋 Description **EduData Morocco** est une plateforme intelligente de données universitaires marocaines capable de : - Collecter des données depuis plusieurs sources hétérogènes (APIs, scraping, PDFs) - Stocker dans un Data Lake / Lakehouse - Transformer avec Apache Spark - Orchestrer avec Apache Airflow - Analyser via SQL et des outils de BI - Entraîner des modèles de Machine Learning / IA - Exposer les résultats via une API REST et une application web - Déployer dans le Cloud avec une chaîne CI/CD complète ## 🎯 Objectifs Métier - Centraliser les données universitaires marocaines - Fournir des indicateurs et tableaux de bord - Prédire la demande pour une formation - Recommander des formations aux étudiants - Détecter automatiquement les informations clés dans les documents - Offrir un assistant conversationnel (RAG) ## 🏗️ Architecture ### Flux de données \\\ Sources → Ingestion → Airflow → MinIO/S3 → Spark → Hudi → PostgreSQL (Analytics) + Elasticsearch (Search) + ML Models → FastAPI → React Dashboard \\\ ### Stack Technologique | Couche | Technologie | |--------|-------------| | **Data Lake** | MinIO / Amazon S3 | | **Lakehouse** | Apache Hudi | | **Orchestration** | Apache Airflow | | **Processing** | Apache Spark (PySpark) | | **Analytics** | PostgreSQL + Metabase | | **Search** | Elasticsearch | | **ML/IA** | scikit-learn, Transformers, LangChain | | **Backend** | FastAPI (Python) | | **Frontend** | React | | **Monitoring** | Prometheus + Grafana | | **CI/CD** | GitHub Actions | | **Infrastructure** | Docker, Terraform | ## 📦 Versions du Projet | Version | Contenu | Statut | |---------|---------|--------| | **V1** | Data Engineering (Ingestion, Airflow, Spark, Hudi) | 🚧 En cours | | **V2** | Analytics (SQL, Metabase, KPIs) | 📋 Planifié | | **V3** | Data Science (ML, Prédiction, Clustering) | 📋 Planifié | | …