استفاده از رگرسيون غيرخطي و ويژگي هاي آماري جهت ارزيابي سيستم هاي (Interactive Question Answering (IQA

nonlinear regression and statistical properties to evaluate Interactive Question system ( IQA

مشكل اصلي در طراحي سيستم هاي پرسش و پاسخ تعاملي، عدم امكان پيش گويي بخش تعاملي اين سيستم ها است. به همين منظور، بايد انسان در فرآيند ارزيابي شركت داشته باشد. در اين مقاله با معرفي مجموعه اي از ويژگي هاي ايجاد شده بر اساس n-گرم ها و بزرگترين رشته مشترك، يك مدل آماري مناسب براي ارزيابي سيستم هاي پرسش و پاسخ تعاملي ارائه شده است. در ابتدا با استفاده از چهار سيستم پرسش و پاسخ تعاملي موجود، پايگاه داده اي از مكالمات رد و بدل شده بين كاربران و سيستم ها ايجاد گرديد. از بين مكالمات توليد شده، تعداد 540 نمونه به عنوان داده مناسب در نظر گرفته شد تا مجموعه تست و آموزش بر اساس آن ايجاد گردد. سپس بر روي مكالمات، پيش پردازش صورت پذيرفت و بر اساس روابط تعريف شده، تعدادي ويژگي آماري جديد از متن مكالمه ها استخراج و بر اساس آن ماتريس ويژگي تشكيل گرديد. با توجه به تعداد بالاي ويژگي هاي پيشنهادي و براي جلوگيري از برازش خطا، بهترين ويژگي ها با استفاده از روش حذف ويژگي به روش بازگشتي انتخاب گرديد تا مدل پيشنهادي بر اساس ويژگي هاي باقيمانده شكل گيرد. در نهايت با استفاده از رگرسيون به پيش بيني نظرات انساني پرداخته شد كه رگرسيون غيرخطي تواني بر اساس معيار مجذور كمترين مربع خطا به ميزان 0/15 بهترين مدل را ارائه نمود

Evaluation plays an important role in the interactive question answering (IQA) systems. In the context of evaluating IQA systems, there is partially no specific methodology for evaluating these systems in general. The main problem with designing an assessment method for IQA systems lies, in fact, that is rarely possible to predict interaction part. To this end, human needs to be involved in the evaluation process. In this paper, an appropriate model is presented by introducing a set of built in features for evaluating IQA systems. To conduct the evaluation process, four IQA systems were considered and based on the conversation was exchanged between users and systems, the number 540 samples were considered as suitable data to create a test and training set. After performing the preprocessing on the conversation, the statistical characteristics of the conversation extracted and base on that characteristics matrix was formed. Finally, using linear and nonlinear regression, the human thinking was predicted that the nonlinear power regression with 0.15 MSE was the best model.