كليدواژه :
نظام بازيابي اطلاعات , موتور كاوش , ارزيابي ربط , سنجه‌هاي ارزيابي , سنجه‌هاي كارآمدي
چكيده فارسي :
هدف: هدف پژوهش حاضر، تحليل سنجه‌هاي مهم و جديد ارزيابي براي بكارگيري در موتورهاي كاوش به منظور ارائه نتايج دقيق است.
روش: مقاله حاضر، مقاله‌اي مروري است و براي گردآوري مقاله‌ها كليدواژه‌هاي سنجه‌هاي ارزيابي، ارزيابي موتورهاي كاوش، ارزيابي نظام‌هاي بازيابي اطلاعات، سنجه‌هاي ارزيابي ربط در گوگل اسكالر و پايگاه‌هاي اطلاعاتي مگ ايران و سيد جستجو و مقاله‌هاي مرتبط تهيه شد. در اين مطالعه از رويكرد توصيفي- تحليلي استفاده شد تا سنجه‌هاي مهم موتورهاي كاوش مرور شود.
يافته‌ها: با مرور سنجه‌هاي مختلف ارزيابي موتورهاي كاوش ، سه گروه از سنجه‌ها شناسايي شد. مي‌توان سنجه‌هاي دقت، بازيافت را در گروه غير رتبه‌بندي قرار دارد كه متأثر از رويكرد نظام‌گرايي است. از طرف ديگر، گروه رتبه‌بندي شامل سنجه‌هاي متوسط فاصله، سود تجمعي تعديل يافه نرمال، سنجه كارآمدي رتبه‌بندي و بي پرف است كه رويكرد كاربرگرايي در مطرح شدن اين سنجه‌ها مؤثر بوده است. اگرچه سنجه جامعيت با هدف در نظر گرفتن كاربر ارائه شده است؛ اما به نظر مي‌رسد كه در عمل به صورت كامل به هدف خود نرسيده است. افزون براين، همانگونه كه در پژوهش‌هاي بازيابي اطلاعات، رويكرد سومي نيز مطرح شده است كه بر تعامل و يگانش دو رويكرد نظام‌گرا و كاربرگرا اشاره دارد، در سنجه‌هاي ارزيابي موتورهاي كاوش نيز، دو سنجه اتحاد جاكارد و اتحاد كسينوسي برگرفته از رويكرد سوم هست.
نتيجه‌گيري: براي تعيين موتور كاوش كارآمد پيشنهاد مي‌شود كه پژوهشگران هنگام ارزيابي نظام‌هاي بازيابي اطلاعات در پژوهش‌هاي خود، سنجه‌هايي را از هر سه گروه ياد شده انتخاب نمايند.
چكيده لاتين :
Purpose: There are several metrics for evaluating search engines. Though, many researchers have proposed new metrics in recent years. Familiarity with new metrics is essential. So, the purpose is to provide an analysis of important and new metrics to evaluate search engines.
Methodology: This review article critically studied the efficiency of metrics of evaluation. So, “evaluation metrics,” “evaluation measure,” “search engine evaluation,” “information retrieval system evaluation,” “relevance evaluation measure” and “relevance evaluation metrics” were investigated in “MagIran” “Sid” and Google Scholar search engines. Articles gathered to inspect and analyse existing approaches in evaluation of information retrieval systems. Descriptive-analytical approach used to review the search engine assessment metrics.
Findings: Theoretical and philosophical foundations determine research methods and techniques. There are two well-known “system-oriented” and “user-oriented” approaches to evaluating information retrieval systems. So, researchers such as Sirotkin (2013) and Bama, Ahmed, & Saravanan (2015) group the precision and recall metrics in a system-oriented approach. They also believe that Average Distance, normalized discounted cumulative gain, Rank Eff and B pref are rooted in the user-oriented approach. Nowkarizi and Zeynali Tazehkandi (2019) introduced comprehensiveness metric instead of Recall metric. They argue that their metric is rooted in a user-oriented approach, while the goal is not fully met. On the other hand, Hjørland(2010) emphasizes that we need a third approach to eliminate this dichotomy. In this regard, researchers such as Borlund, Ingwersen (1998), Borlund (2003), Thornley, Gibb (2007) have mentioned a third approach for evaluating information retrieval systems that refer to interact and compose two mentioned approaches. Incidentally, Borlund, Ingwersen(1998) proposed a Jaccard Association and Cosine Association measures to evaluate information retrieval systems. It seems that these two metrics have failed to compose the system-oriented and user-oriented approaches completely, and need further investigation.
Conclusion: Search engines involve different components including: Crawler, Indexer, Query Processor, Retrieval Software, and Ranker. Scholars wish to apply the most efficient search engines for retrieving required information resources. Each metrics measures a specific component, to measure all, it is suggested to select metrics from all three mentioned groups in their search.
