tchoisesse-spec/Audit-Clean-Data-Lampadaires-Togo

# DOCUMENTATION TECHNIQUE: Audit & Clean Data Lampadaires Togo ### Pipelines d'Ingestion SQL, Nettoyage de Données de Terrain et Analyse d'Électrification Rurale --- ## 1. Présentation du Projet Ce projet simule le flux complet d'ingénierie et d'analyse de données d'un inventaire d'éclairage public (lampadaires solaires/réseau) au Togo. Le traitement couvre la collecte brute via formulaire terrain (KoboToolbox / Excel), le stockage initial dans une base de données relationnelle SQLite, le nettoyage rigoureux et l'harmonisation sous Python (Pandas), puis la restitution d'indicateurs clés de performance (KPI) pour les décideurs publics. --- ## 2. Structure de la Base de Données La base de données SQLite `togo_energie.db` est initialement composée de deux tables: * **`regions_togo`** : Table de référence des 6 régions administratives du Togo et leurs chefs-lieux (Savanes, Kara, Centrale, Plateaux, Maritime, Grand Lomé). * **`lampadaires_brut`** : Table de données brutes contenant les anomalies de collecte terrain. * **`lampadaires_propres` & `kpi_pannes_territoire`** : Tables nettoyées et agrégées produites post-traitement. --- ## 3. Pipeline de Nettoyage et Traitement de Données Le script Python applique un protocole d'audit et de correction structuré en 5 étapes: | # | Anomalie Détectée | Méthode de Correction / Règle Métier | | :-: | :--- | :--- | | **1** | Doublons stricts (ex: LAMP-005 répété) | Déduplication basée sur l'identifiant unique `id_lampadaire`. | | **2** | Incohérences de casse et typographie (ex: savanes, tone) | Normalisation avec `strip()`, passage en Title Case et correction d'accentuation (ex: Tône). | | **3** | Unités parasites & texte ('60W', 'missing') | Extraction numérique de la puissance, conversion en entiers et imputation des valeurs manquantes par la médiane (60 W). | | **4** | Valeurs manquantes du statut fonctionnel (NaN) | Catégorisation explicite sous l'étiquette "À vérifier" pour contrôle qualité ultérieur. | | **5** | Coordo …