robertoniyonzima/scraping-ikirundi.org

scrapping www.ikirundi.org, and get more than 11k kirundindi word from webpage and pdf from webpage # Kirundi Web Scraper Un scraper avancé pour collecter du vocabulaire kirundi depuis ikirundi.org, optimisé pour l'entraînement de modèles d'IA linguistiques. ## 📝 Description Ce script Python permet de : - Scraper tout le contenu textuel du site ikirundi.org - Extraire le texte des pages HTML et PDF - Filtrer automatiquement les mots kirundi valides - Générer un corpus linguistique propre et structuré ## ✨ Fonctionnalités - **Scraping complet** : Pages web et documents PDF - **Filtrage intelligent** : - Suppression des chiffres et nombres - Filtrage des mots français/anglais courants - Détection des préfixes kirundi typiques - **Sortie organisée** : - Vocabulaire kirundi nettoyé - Statistiques détaillées du scraping - **Performances optimisées** : - Traitement asynchrone (15-30 pages/sec) - Limitation automatique des requêtes