khariton0v/Terror-checker-Nigeria

Проект посвящён автоматизированному анализу террористической обстановки в Нигерии на основе открытых новостных данных # Исследование террористической опасности в Нигерии по новостям из национальных СМИ Данный проект посвящён автоматизированному анализу террористической обстановки в Нигерии на основе открытых новостных данных. Разработанная система позволяет количественно оценивать уровень угроз, выделять ключевые темы и регионы, а также выявлять причинно-следственные связи между террористической активностью и социально-экономическими, институциональными и идеологическими факторами. Проект выполнен в формате исследовательского Jupyter Notebook и включает полный пайплайн — от сбора и очистки данных до визуализации и статистического анализа. --- ## Цель и задачи **Цель** — получение релевантной и структурированной информации о террористической угрозе в Нигерии за период с сентября 2024 по сентябрь 2025 года. **Основные задачи:** - Расчёт индексов тяжести террористических событий (с учётом количества и без). - Кластеризация тем для выявления сущностных проявлений терроризма (географическая привязка). - Оценка динамики индексов и визуализация связи с другими аспектами (экономика, социальная сфера, преступность и др.). - Анализ временных рядов для определения силы связи между терроризмом и различными сферами жизни. - Поиск ассоциативных правил между событиями (какие факторы сопутствуют террористическим актам). --- ## Источники данных - **Новостные статьи** (~20 тыс.) из 4 нигерийских СМИ за указанный период (парсинг через `Requests` + `BeautifulSoup`). - **Посты в Twitter** (~2 тыс.) с новостями о Нигерии (сбор через Apify). - **Комментарии к постам** (~10 тыс.) для выявления индикаторов недостоверной информации. - **Метаданные аккаунтов** комментаторов (возраст, активность, верификация) для фильтрации ботов и спама. --- ## Методология (кратко) Весь пайплайн реализован в виде модульного кода на Python с использованием GPU-ускорения. ### 1. Предобработка текстов - Очистка от спецсимволов, ссылок, упоминаний. - Замена названий стран и национальностей на нейтральные синонимы (с …