ارائه يك مدل احتمالاتي جهت تعيين انسجام متن در سيستم هاي پرسش و پاسخ تعاملي

A Probabilistic Model to Determine the Coherence of Texts in Interactive Question Answering Systems

همانند بسياري از زمينه هاي زبان شناسي محاسباتي، ارزيابي نقش مهمي در سيستم هاي پرسش و پاسخ تعاملي ايفا مي نمايد. يكي از معيارهايي كه در زمينه ارزيابي اين سيستم ها داراي اهميت مي باشد ميزان انسجام بين سوال ها و پاسخ هاي رد و بدل شده، بين كاربر و سيستم است. در اين مقاله يك راه حل اتوماتيك براي تعيين ميزان انسجام متن توليد شده، ارائه شده است. مدل پيشنهادي، يك مدل احتمالاتي است كه در آن، براي استخراج ويژگي از ميزان شباهت بين N -گرم هاي مختلف بر اساس چهار معيار تعريف شده، بهره گرفته شده است. سپس با استفاده از تخمين بهترين تابع چگالي از بين 18 تابع درنظر گرفته شده براي هر ويژگي، يك مدل براي تعيين ميزان انسجام انتخاب گرديده است. نتايج پياده سازي بر روي دو پايگاه داده تهيه شده از چند سيستم پرسش و پاسخ تعاملي، حاكي از انطباق بسيار بالاي مدل احتمالاتي پيشنهادي و دقت مناسب آن در تعيين ميزان انسجام، در متن مكالمه صورت گرفته، مي باشد. براي تطبيق يا عدم تطبيق تابع چگالي احتمال بدست آمده از آزمون هاي سه گانه كولموگروف-اسميرنف، اندرسون دارلينگ و كرامر وان ميس استفاده گرديد. با توجه به نتايج ارائه شده تابع چگالي احتمال ناكاگامي با داشتن كمترين اشتباه، بهترين عملكرد را در تعيين ميزان انسجام هر مكالمه از خود نشان داد.

Evaluation plays an important role in interactive question answering systems like many computational linguistics fields. The coherence between the questions and the answers exchanged between the user and the system is one of the important criteria in evaluating these systems. In this paper, a new approach to determine the degree of coherence of generated text by the IQA systems is presented. The proposed model is a probabilistic model in which for feature extraction, the similarity between different N-grams is derived based on four defined criteria. Then using a prediction of the best density function among the 18 functions considered for each feature, a model for determining the coherence is selected. The results of implementation on two databases provided by several interactive question answering systems indicate that the proposed probabilistic model is highly adapted and its accuracy in determining the degree of coherence in the conversation text has been made. The Kolmogorov-Smirnov, Anderson, Darling and Cramer van Meys trials were used to matching or non-matching probability density function. According to the presented results, the probability density factor with the least error was the best performance in determining the coherence of each conversation.