Mikyas1/amharic-etv-corpus-pre-processing

### TO GET TOTAL LINES OF A TEXT FILE - wc -l ### RESOURCES FOR CORPUS CLEANING AND PRE-PROCESSING - aclanthology.org ### Pre-processing steps 1. remove all sentences with no amharic characters (./pre-processing/extract_with_amh_char.py) - python extract_with_amh_char.py ../corpus/EBCNEWSNOW.txt ../corpus/atlist_one_amh_char_per_sentence.txt -- reduced initial corpus from 47172946 to 26125564 lines - Ex: -- Removed None, "", only english sentences, spacers like **\*\*\***, -------- 2. remove all URLs from the sentences (./pre-processing/remove_urls.py) - python remove_urls.py ../corpus/atlist_one_amh_char_per_sentence.txt ../corpus/url_free.txt -- reduced url free corpus from 26125564 to 26125314 lines - Ex: -- በዚህም መሰረት በፖሊሲው የትግበራ ምዕራፍ የሚከናወኑ ተግባራትን በዝርዝር የያዘ ረቂቅ ፍኖተ ካርታ ተጠናቅቆ ለውይይት ዝግጁ መሆኑን ይፋ አድርጓል።facebook.com<> -> በዚህም መሰረት በፖሊሲው የትግበራ ምዕራፍ የሚከናወኑ ተግባራትን በዝርዝር የያዘ ረቂቅ ፍኖተ ካርታ ተጠናቅቆ ለውይይት ዝግጁ መሆኑን ይፋ አድርጓል። 3. remove lists (starting with 1. 2. 3. .... or • ) from sentences - python remove_list_indicators.py ../corpus/url_free.txt ../corpus/no_list.txt -- reduced corpus from 26125314 to 26125314 lines - Ex: -- 2. አቶ ቻም ኡቦንግ* የክልሉ ፍትህ ቢሮ ኃላፊ -> አቶ ቻም ኡቦንግ* የክልሉ ፍትህ ቢሮ ኃላፊ -- • ከአራት ኪሎ እስከ ቅ/ማሪያም ቤ/ክርስቲያን መታጠፊያ -> ከአራት ኪሎ እስከ ቅ/ማሪያም ቤ/ክርስቲያን መታጠፊያ 4. remove noises sources, short sentences (3 len max) if they start with በ or any sentence starting with ምንጭ, contain corpus specific noise words like ጤና ይስጥልኝ ኢትዮጵያ .... - python remove_noise.py ../corpus/no_list.txt ../corpus/less_noise.txt -- reduced corpus from 26125314 to 25423016 lines 5. remove quotations in the corpus, - python remove_quote.py ../corpus/less_noise.txt ../corpus/less_quote.txt -- reduced corpus from 25423016 to 25423016 lines - Ex: -- የኮሪደር ልማት ስራዎቻቸው ተጠናቀው ለአገልግሎት ክፍት በተደረጉት መንገዶች ላይ ተሽከርካሪዎችን አቁሞ መሄድ ክልክል ነው - አዲስ አበባ ፖሊስ -> የኮሪደር ልማት ስራዎቻቸው ተጠናቀው ለአገልግሎት ክፍት በተደረጉት መንገዶች ላይ ተሽከርካሪዎችን አቁሞ መሄድ ክልክል ነው -- የጃፓን ባለሐብቶች በኢንዱስትሪ ፓርኮች ኢንቨስት እንዲያደርጉ እየተሰራ …