ارايه يك رتبه‌بند براي خطاياب معنايي با استفاده از ويژگي‌هاي حساس به متن

Proposing a ranker for semantic error checker using context-sensitive features

در عصر فناوري، روزانه حجم زيادي از سند هاي الكترونيكي توليد مي شود. ازآنجاكه اين سند ها توسط افراد مختلف توليد مي شود، داراي خطاهايي هستند. وجود خطاها باعث كاهش كيفيت سند ها مي شود؛ بنابراين وجود ابزارهاي خطاياب باعث افزايش كيفيت مي شود. يكي از انواع خطاها، خطاي معنايي حساس به متن است. همان‌طور كه از نام آن برمي آيد، براي تشخيص و تصحيح آن، نياز به تحليل اطلاعات موجود در متن است. در اين مقاله، يك رتبه بند متمايزگر مستقل از زبان براي خطاياب هاي معنايي حساس به متن ارايه داديم و از اطلاعات كل متن براي رتبه بندي استفاده كرديم. موجود بودن جمله هاي قبلي و بعدي جمله خطادار يكي از پيش‌نيازهاي روش ارايه‌ شده است. اين رتبه بندي توسط ويژگي هاي حساس به متن و يك مدل لگاريتم خطي انجام ‌شده است. براي ارزيابي روش، از دو روش مبناي مختلف كه يكي بر اساس مترجم ماشيني آماري و ديگري بر اساس مدل زباني است، استفاده كرده ايم. به‌منظور ارزيابي سامانه از دو داده آزمون مختلف در زبان فارسي استفاده ‌شده است. اين روش باعث بهبود 17% در بازخواني تشخيص و تصحيح نسبت به روش مبناي مترجم ماشيني آماري شده است.

Nowadays, a large volume of documents is generated daily. These documents generated by different persons, thus, the documents contain spelling errors. Therefore, existence of automatic writing assistance tools such as spell checker/corrector can help to improve their quality. Context-sensitive are misspelled words that have been wrongly converted into another word of the language. Thus, detection of real-word errors requires discourse analysis. In this paper, we propose a language independent discourse-aware discriminative ranker and use information of whole document and a log-linear model for ranking. To evaluate our method, we augment it into two context-sensitive spellchecker systems; one is based on Statistical Machine Translation (SMT) and the other is based on language model. For more evaluation, we also use two different tests. Proposed method causes outperform about 17 %over the SMT base approach with respect to detection and correction recall.