sandalundilu-hub/mambu-malundwa-censo-audit

Pipeline de Engenharia de Dados, Auditoria Social e Validação Metodológica dos Microdados do Censo Geral de Angola 2024. # Auditoria de Engenharia de Dados: Censo Geral de Angola 2024 ## Take 1: Pipeline de Higienização, Consistência Denominadora e Mitigação na Fonte Este repositório serve como validação metodológica e prova de conceito técnica para doadores internacionais, agências de cooperação (USAID) e decisores macroestratégicos que operam em Angola. O objetivo deste projeto é auditar, limpar e recalcular os rácios de vulnerabilidade socioeconómica a partir dos microdados brutos do Censo 2024, eliminando ruídos estruturais. --- ## 🚨 Os Gargalos Detetados no Ficheiro Bruto (INE) Durante a fase de ingestão, a nossa auditoria identificou falhas graves na consistência dos dados originais que corrompem análises automatizadas em ferramentas de Business Intelligence (Power BI/Looker Studio): 1. **Cabeçalhos Multi-Nível Mesclados:** Presença de filas combinadas de metadados que quebram a indexação direta do Pandas. 2. **Entropia Toponímica:** Erros severos de codificação e digitação manual (ex: a província do Uíge registada como "ULGE"), gerando duplicações artificiais em mapas de calor. 3. **Falsos Decimais Populacionais:** Contagens numéricas de pessoas absolutas armazenadas como floats (meias pessoas) e valores nulos (NaNs) sem tratamento de distribuição. 4. **Mascaramento de Denominadores:** Rácios percentuais oficiais prontos que ignoravam dados omitidos em campo, insuflando taxas reais de cobertura. --- ## 🛠️ A Solução Aplicada: O Padrão Mambu Malundwa O nosso pipeline executa uma transformação estrita da fuba bruta para garantir a integridade total do dado: * **Flat-Mapping de Metadados:** Fusão de row-headers numa única camada string limpa. * **Normalização Geográfica:** Passagem de filtros textuais nativos (`.str.strip().str.upper()`) e acoplamento de dicionários categóricos rígidos. * **Recálculo Absoluto:** Rejeição de todas as colunas de percentagem originais. Todos os rácios da Mambu Malundwa são calculados dividindo os subgrupos vulneráveis pela população absoluta r …