HasanovChE/Fine-Tuning-OpenAI-Whisper-model

Azərbaycan dili üçün Avtomatik Nitq Tanıma (ASR) sisteminin qurulması və təkmilləşdirilməsi (fine-tuning) məqsədilə hazırlanmışdır. Layihə çərçivəsində Mozilla Common Voice (az) verilənlər bazası və OpenAI Whisper modeli istifadə edilmişdir. # Avtomatik Nitq Tanıma (ASR) Sistemi - Azərbaycan Dili: ## Layihənin Qısa İzahı Layihə üç əsas mərhələdən ibarətdir: 1. **Baza Tətbiqi (Part A):** Heç bir əlavə öyrənmə edilmədən `openai/whisper-small` modelinin orijinal performansının Test datası üzərində yoxlanılması. 2. **Fine-Tuning (Part B):** Baza modelinin Azərbaycan dilinin spesifik xüsusiyyətlərinə daha yaxşı uyğunlaşması üçün Common Voice `train` və `dev` dataları istifadə edilərək təkmilləşdirilməsi. 3. **Müqayisə (Results):** Orijinal model ilə Fine-tuned modelin eyni Test datası üzərində WER (Söz Xəta dərəcəsi) və CER (Hərf Xəta dərəcəsi) metrikaları əsasında müqayisə edilməsi. --- # İstifadə olunan model və parametrlər - **Əsas Model:** `openai/whisper-small` (Multilingual) - **Verilənlər Bazası:** Mozilla Common Voice (Azərbaycan dili - v25.0) - **Audio Tezliyi (Sampling Rate):** 16,000 Hz - **Avadanlıq:** Google Colab (T4 GPU) **Fine-Tuning Parametrləri (`Seq2SeqTrainingArguments`):** - `learning_rate`: 1e-5 - `per_device_train_batch_size`: 8 - `gradient_accumulation_steps`: 2 - `max_steps`: 200 (Nümunəvi təlim üçün) - `fp16`: True (GPU sürətləndirməsi üçün) - `eval_strategy`: "steps" (Hər 50 addımda bir yoxlama) - `load_best_model_at_end`: True (Ən yaxşı checkpoint-in avtomatik yadda saxlanması) --- # WER/CER nəticələri (Cədvəl) - Base Model Test, Fine-Tuned isə Evaluation data-sı ilə əlaqədardır. | Model Status | WER (%) | CER (%) | Ən Yaxşı Checkpoint (Addım) | | -------------------------- | ------- | ------- | --------------------------- | | Base Model (Whisper-small) | 143.60% | 66.65% | - | | Fine-Tuned (Ən Yaxşı WER) | 55.31% | 16.83% | 98 | | Fine-Tuned (Ən Yaxşı CER) | 55.75% | 16.20% | 14 | --- # Kodu işə salmaq addımları (Setup və Run) 1. **Layihənin yüklənməsi** git clone xxx 2. **Dataset-in hazırlanması** mozilladatacollective.com linki vasi …