توليد متن، اندازه گيري كيفيت متن توليد شده

Text generation, measuring of generated text quality

توليد متن يكي از زير شاخه‌هاي پردازش زبان طبيعي و يكي از مسائل مهم در هوش مصنوعي است كه مانند ساير حوزه‌هاي هوش مصنوعي شامل چالش‌ها و شكاف‌هايي حل شده و حل نشده مي‌باشد. يكي از چالش‌هاي مهم درحوزه‌ي توليد داده (متن، تصوير، صدا) كه بسيار مهم و مورد توجه محققان مي‌باشد، معيارهاي ارزيابي و انتخاب معيار مناسب براي ارزيابي كيفيت داده‌ي توليد شده مي‌باشد. در خصوص ارزيابي داده‌هاي توليد شده دو روش ارزيابي انساني و خودكار وجود دارد. در معرفي معيارهاي خودكار، اساس شباهت و نزديك بودن به ارزيابي انساني است. هر معياري كه مقاديري توليد كند كه بيشتر به نتايج ارزيابي انساني نزديك باشد معيار مناسب تري است. در اين مقاله انواع معيارهاي به كار رفته در ارزيابي متون توليد شده، معرفي و بررسي مي‌شوند. ما در اين پژوهش مدلي براي توليد متن پياده سازي نموده ايم و متن توليد شده را با معيار BLEU كه تعيين كننده كيفيت متن مي باشد و Self-BlEU كه بيان كننده ميزان تنوع در متن توليدي است و معيار شباهت جاكارد براي تعيين ميزان شباهت يا استقلال متون توليدي، ارزيابي كرديم و نتايج به دست آمده را مورد تحليل قرار داديم.