بازشناسي متون فارسي با استفاده از مدل زباني n-gram و پالايش گرامري

Persian Text Recognition using n-gram Language Models and Grammatical Refinement

بازشناسي متون، در سال هاي اخير بسيار مورد توجه قرار گرفته است. ارايه الگوريتم هاي بازشناسي، برگرفته از ساختار گرامري و معنايي اين زبان مي تواند روش موثري در پردازش هاي ديگر مربوط به خط و زبان فارسي باشد. در اين مقاله با استفاده از شاخه علمي پردازش زبان‌هاي طبيعي، يك الگوريتم سه‌مرحله اي به‌منظور بازشناسي متون فارسي بر مبناي بازشناسي جملات فارسي ارايه مي شود. اين روش شامل مراحل تركيب زيركلمات به‌منظور ساخت كلمات و سپس جملات بالقوه معني دار و درنهايت استفاده از دو مدل زباني و چند قاعده گرامري، به‌منظور تشخيص جمله صحيح براساس انطباق با گرامر زبان فارسي است.آزمايش‌هاي متعدد نشان مي دهد كه دقت روش ارايه‌شده براي مرحله ساخت كلمات و سپس جملات بالقوه معني دار98 درصد و براي تشخيص جمله صحيح با استفاده از مدل زباني بايگرام 85 درصد و براي مدل زباني ترايگرام 88 درصد است.

Text recognition has been one of the growing research topics in recent years. Many of these researches have focused on recognition of letters and sub-words as a basis for identifying larger text structures such as words, phrases and sentences. This thesis presents a new method in which the recognized sub-words are combined in order to provide meaningful words and sentences in Farsi texts. Since there may be more than one meaningful combination, the potential meaningful sentences are filtered using Farsi grammatical rules. In the sub-word recognition stage, a double scan method is exploited while the words are extracted using a database of frequent Farsi words. In the last stage a 2 and 3-gram method as well as Farsi grammatical rules are employed to identify the most meaningful sentence from all potential candidates. Experiments have proved the accuracy of the exploited method to be more than 85 percent.