arwa774/Tunisia-Influencer-Sentiment-Analyzer
Domain:
natural language processingRecord type:
software
Creator:
arw
Host:
# Tunisian-Influencer-Sentiment-Scoring-System
Un pipeline complet pour scraper les commentaires des influenceurs tunisiens sur **TikTok** et **YouTube**, classifier le sentiment de chaque commentaire avec **Qwen2.5-7B-Instruct**, et attribuer un score à chaque influenceur basé sur la distribution des sentiments de son audience — incluant un **score global** qui fusionne les deux plateformes.
---
## Apercu du Projet
Ce projet cible les créateurs de contenu tunisiens sur TikTok et YouTube. Il collecte les commentaires de leur audience à grande échelle, les passe dans un classifieur basé sur un LLM qui comprend le **Darja tunisien** (un dialecte qui mélange arabe, français et anglais), et produit un score par influenceur — par plateforme individuellement et en score global combiné.
### Résumé du Pipeline
```
Liste des influenceurs (CSV)
|
v
+-------------------+ +-------------------+
| YouTube Scraper | | TikTok Scraper |
| (YouTube API v3) | | (Async HTTP + |
| | | yt-dlp) |
+--------+----------+ +--------+----------+
| |
+-----------+-------------+
|
v
CSV brut des commentaires
|
v
+----------------------------------+
| Nettoyage des données |
| - Suppression des valeurs nulles|
| - Retrait des users < 9 comments|
| - Limite de 300 comments/user |
+---------------+------------------+
|
v
+----------------------------------+
| Classifieur de sentiment |
| Qwen2.5-7B-Instruct |
| + Emoji Lexicon Boost |
| + Darja-aware System Prompt |
+---------------+------------------+
|
v
+----------------------------------+
| Scoring des influenceurs |
| - Score par plateforme |
| (pondéré par confidence, |
| de -100 a +100) |
| - Score global (YT + TT fusionné|
+----------------------------------+
```
---
## Structure du Dépôt
```
scraping/
youtube_scraper.py # Scrape les commentaires via …