قطعه‌بندي عبارات متون فارسي با استفاده از شبكه‌هاي عصبي

قطعه‌بندي كلمات و عبارات متن، يكي از فعاليت‌هاي اصلي در حوزه پردازش زبان‌هاي طبيعي است. اكثر برنامه‌هاي پردازش زبان‌هاي طبيعي به يك پيش‌پردازش براي استخراج كلمات متن و تشخيص عبارات احتياج دارند. هدف اصلي و نهايي قطعه‌بندي عبارات، به دست آوردن كلمات معني‌دار همراه با پيشوندها و پسوندهايشان است و اين فعاليت متناسب با زبان‌هاي طبيعي مختلف مي‌تواند سخت يا آسان باشد. در زبان فارسي به علت وجود فاصله و نيم‌فاصله، عدم توجه كاربران به فاصله‌گذاري‌ها و نبود قواعد دقيق در نوشتن كلمات چندقسمتي، تشخيص و قطعه‌بندي كلمات چندقسمتي و مركب با مشكلات و پيچيدگي‌هاي خاص خود رو به‌ رو است. در اين مقاله برآنيم تا با استفاده از شبكه‌هاي عصبي، يك روش آماري براي قطعه‌بندي عبارات متون فارسي جهت استفاده در موتورهاي جستجو ارائه كنيم. الگوريتم پيشنهادي شامل 4 فاز است كه با استفاده از احتمال رخداد تك‌كلمات و دوكلمه‌اي‌هاي موجود در پيكره و با دقت 89/6% عمل قطعه‌‌بندي را انجام مي‌دهد. نتايج آزمايشات نشان دادند اين روش مي‌تواند با قطعه‌بندي بهتر عبارات، بهبود نسبي در كارايي روش‌هاي معمول به وجود آورد.