مقايسه روش ماركوف مخفي و پردازش زبان هاي طبيعي در مدلسازي آماري زبان فارسي

در این مقاله، احتمال وجود یا عدم وجود كلمات گوناگون در زبان فارسی، در قالب مدل سازی كلمات این زبان، مورد بررسی قرار گرفته است. برای انجام این مدل سازی وجود یك پایگاه داده الزامی است، كه برای این منظور لغت نامه بیژن خان استفاده شده است. مدل سازی كلمات بر مبنای دو روش مدل ماركوف مخفی و روش های آماری پردازش زبان انجام گرفته اند. در این مقاله، مرتبه اول و مرتبه دوم از هر یك از این دو روش، بطور مجزا بررسی شده، و روابط و چگونگی پیاده سازی آنها تشریح شده اند. مرتبه اول از این روش ها، شیوه ای است كه تاكنون برای مدل سازی كلمات مورد توجه بوده است. در حالیكه مرتبه دوم از روش ها برای مدل سازی كلمات، بعنوان روشی جدید در این مقاله ارائه می شود. نتایج بدست آمده، دقت هر روش در مدل سازی و تشخیص كلمات را بیان می كند، و موفقیت چشم گیر مدل ماركوف مخفی مرتبه دوم را در تشخیص كلمات صحیح و غیر صحیح در مقایسه با سایر روش ها نشان می دهد.