KZDNguyenThanh/africa-energy-lakehouse

# Africa Energy Lakehouse **Đề tài:** Xây dựng hệ thống Lakehouse phân tích và dự đoán mức tiêu thụ điện năng hộ gia đình khu vực Hạ Sahara hướng tới phát triển bền vững. **Dataset:** electricsheepafrica/africa-synth-energy-household-electricity-access-africa-all — 15.000 hộ, 12 quốc gia, 2018–2025. _Dữ liệu synthetic._ --- ## Kiến trúc ``` Hugging Face │ ▼ ingest.py ┌─────────────┐ │ BRONZE │ bronze.households (dữ liệu thô) └─────────────┘ │ ▼ dbt ┌─────────────┐ │ SILVER │ silver.silver_households (đã làm sạch) └─────────────┘ │ ▼ dbt ┌─────────────┐ │ GOLD │ gold_dim_geography / gold_dim_date │ │ gold_dim_household (SCD2, từ snapshot) │ │ gold_fact_consumption / gold_agg_country_year │ │ gold_ml_features / gold_predictions └─────────────┘ │ │ ▼ Colab (LightGBM) ▼ Streamlit + Groq ML Model Dashboard + GenBI ``` ## Stack | Tầng | Công cụ | | ------------------- | ---------------------------------------------------- | | Storage / Lakehouse | MotherDuck (DuckDB cloud) | | Ingestion | Python + `datasets` library | | Transform | dbt-duckdb | | ML | LightGBM + SHAP (Google Colab) | | Dashboard | Streamlit + Plotly | | GenBI | Groq API (Llama 3.3-70B) | | Orchestration | GitHub Actions | ## Bài toán ML **Hồi quy (Regression):** Dự đoán `monthly_electricity_kwh` từ đặc điểm hộ gia đình. - Chỉ huấn luyện trên hộ **có điện** và kwh > 0 - Model: LightGBM Regressor - Metrics: MAE, RMSE, R² (so với baseline mean) - Explainability: SHAP summary plot + force plot ## Cài đặt ```bash # 1. Clone repo git clone github.com /africa-energy-lakehouse.git cd afri …