معيارهاي ارزيابي ربط در نظام‌هاي بازيابي اطلاعات: دانسته‌ها و ندانسته‌ها

Evaluation Criteria of Information Retrieval Systems: What We Know and What We Do Not Know

ارزيابي نظام‌هاي بازيابي اطلاعات يكي از چالش‌هاي بزرگ متخصصان علم اطلاعات است؛ چون تعيين كارايي يك نظام به قضاوت در مورد ربط مدارك ارايه‌شده با نياز اطلاعاتي كاربر بستگي دارد و اين موضوع داراي پيچيدگي‌هاي خاصي است. از طرف ديگر، نظام‌هاي بازيابي وبي، بسيار متفاوت‌تر از نظام‌هاي بازيابي سنتي هستند. در محيط وب با نظام‌هايي با مجموعه‌هاي رتبه‌بندي‌شده و نيز با نظام‌هايي با مجموعه‌هاي رتبه‌بندي‌نشده مواجه هستيم كه هر كدام معيار و مقياس ارزيابي خود را دارند. به‌ همين دليل، سنجش ربط بر اساس نوع رتبه‌بندي نتايج در اين نظام‌ها متفاوت است. در اين مقاله معيارهاي سنجش ربط در نظام‌هاي بازيابي اطلاعات به تفكيك نظام‌هاي رتبه‌بندي‌نشده (شامل دقت، بازيافت، معيار اِف) و نظام‌هاي رتبه‌بندي‌شده (شامل منحني‌هاي دقت و بازيافت، دقت افزوده، ميانگين دقت افزوده در نقطه 11، ميانگين دقت متوسط، دقت در K، دقتR و منحني ROC و افزايش تجمعي) تشريح شده و ضمن اشاره به مقياس‌هاي ارزيابي ربط، يك مقياس ارزيابي دقت 4 درجه‌اي معرفي گرديده‌ است كه با استفاده از آن مي‌توان به ارزيابي غيردودويي دقت در نظام بازيابي اطلاعات وب شامل دقت كامل، برتر، مفيد، واقعي و در نهايت دقت متغير پرداخت.

Evaluation of information retrieval systems is one of the greatest challenges for information science specialists, because determining the performance of a system depends on judgment of the relevance of documents provided by the system to the userʹs information needs, and it has its own complexities. New retrieval systems due to the dynamic nature of the Web are very different compared with traditional retrieval systems. Web information retrieval systems in terms of ranking results are divided into two groups: The ranked retrieval results and unranked retrieval sets. Each system has a different evaluation criteria and scales. In this paper, criteria for evaluating information retrieval systems is reviewed for the ranked retrieval results (including precision and recall curves, interpolated precision, the 11-point interpolated precision average, Mean Average Precision, precision at K, R-precision, ROC curve cumulative gain and normalized discounted cumulative gain), and the unranked retrieval sets (including precision, recall, F-measure and accuracy) is introduced separately. Finally, alluding to the evaluation metrics, a scale of 4 degrees including best, useful, objective precision and then differential precision is introduced which can be used to evaluate the non-binary precision of web information retrieval systems.