abdelrahmansmm/rides-pipeline

End-to-end data engineering pipeline for Egypt ride-hailing market. # 🚗 Egypt Ride-Hailing Data Engineering Pipeline An end-to-end data engineering project simulating a production-grade pipeline for ride-hailing companies operating in Egypt (similar to Uber Egypt and inDrive Egypt). The pipeline covers batch ingestion, real-time streaming, transformation, orchestration, and analytics dashboards. ## 🏗️ Architecture ``` ┌─────────────────────────────────────────────────────────────────────────┐ │ BATCH LANE (Nightly) │ │ │ │ ┌────────────┐ │ │ │ PostgreSQL │──┐ │ │ │ (Trips) │ │ ┌─────────┐ ┌──────────┐ ┌─────────────┐ │ │ └────────────┘ ├───►│ Airflow │───►│ MSSQL │───►│ dbt │ │ │ │ │ (DAG) │ │ Staging │ │(Transforms) │ │ │ ┌────────────┐ │ └─────────┘ └──────────┘ └──────┬──────┘ │ │ │ MongoDB │──┘ │ │ │ │ │ (Payments) │ │ ┌──────────────────────▼──────┐ │ │ └────────────┘ │ │ MSSQL Gold Layer │ │ │ │ │ fct_trips │ dim_drivers │ │ │ ┌────────────┐ │ └──────────────────┬──────────┘ │ │ │ SSIS │────────────┘ │ │ │ │ (Manual) │ │ │ │ └────────────┘ │ │ └─────────────────────────────────────────────────────────┼──────────────┘ │ ┌─────────────────────────────────────────────────────────┼──────────────┐ │ STREAMING LANE (Real-Time) │ │ │ │ │ │ ┌────────────┐ ┌───────┐ ┌─────────┐ ┌───────▼───── …