Use of Generalized Language Model for Question Matching

از جنبه هاي مهم در فناوري اطلاعات امكان يافتن پاسخ سوالات از بستره هاي آن مي باشد. فضاي اينترنت شامل حجم عظيمي از اطلاعات و از آن جمله جفت هاي پرسش و پاسخ است. لذا اين قابليت كه بتوانيم سوال معادل و يا سوال مشابه با سوال كاربر را به سرعت يافته و پاسخ مربوطه را ارايه دهيم اهميت ويژه اي يافته است. در اين زمينه كوشش هايي براي ساير زبان ها صورت پذيرفته و انجام آن براي زبان فارسي نيز الزامي مي باشد. در اين مقاله روشي مبتني بر تركيب فضاي برداري و تعميمي از مدل هاي زباني يوني-گرم و باي گرم براي تطابق سوال فارسي ارايه مي گردد. روش مورد نظر پياده سازي و بر روي داده هاي محك انبوه ارزيابي شده اند. داده هاي محك شامل بايگاني سرويس پرسش و پاسخ برخط راسخون، كه حاوي بيش از هجده هزار جفت پرسش و پاسخ است، مي باشد. حجم پردازش و سايز ورودي لزوم بكارگيري الگوريتم هاي كارآمد با درجه پيچيدگي زماني و همچنين درجه پيچيدگي حافظه پايين تري را ملزم مي داشت كه از جمله نتايج اين تحقيق مي باشند. از آنجايي كه تمركز اصلي در اين تحقيق، ارزيابي كارايي مدل هاي زباني است، ميزان بهبود تطابق سوال نسبت به روشي كه تنها فضاي برداري استفاده شود نيز مقايسه شده است. نتايج اين مقايسه نشان از بهبود معيارهاي دقت و فراخواني با استفاده از مدل هاي زباني ارايه شده است. همچنين اين مدل، در مقايسه با مدل هاي تطبيق سوال ارايه شده براي ساير زبان ها كه از روش-هاي پيچيده تري مانند هستان شناسي در تطبيق سوال استفاده كرده اند نيز پاسخ بهتري ارايه مي-دهد.

Question and answering service is one of the popular services in the World Wide Web. The main goal of these services is to find the best answer for userʹs input question as quick as possible. In order to achieve this aim, most of these use new techniques foe question matching. We have a lot of question and answering services in Persian web, so it seems that developing a question matching model might be useful. This paper introduces a new question matching model for Persian. This model is based on statistical language model and employs generalized bigram and trigram model. We also describe some results regarding the employment of natural language processing in question matching model. Most of the Q&A services have large number of questions and answers; hence we considered an optimized implementation for the model. We evaluated our model with Rasekhoon question and answering archive which contains about 18000 pairs of questions and answers. The results showed the improvement of precision and recall measures through using this model.