تشخيص ربات هاي ناهنجار در پرس وجوهاي موتور جستجو

Detection of Anomaly Robots in the Search Engine Query

موتورهاي جستجو را مي توان بهترين ابزار كارآمد براي مديريت، بازيابي و استخراج اطلاعات مهم از مجموعه عظيم داده هاي وب معرفي كرد. اين موتورها پهنه وسيع وب را به طور زمان بندي شده پيمايش مي كنند و به جمع آوري صفحات بي شمار ذخيره شده در گوشه كنار وب مي پردازند. ارائه دهندگان موتورهاي جستجو همواره به دنبال بهبود ارتباط نتايج و كاهش زمان پاسخ به كاربران هستند، اما هر دو اين موارد مي تواند تحت تاثير ترافيك خودكار ارسال شده از سوي ربات ها قرار گيرد. در اين مقاله ابتدا به تعريف ربات ها و چالش تشخيص آن ها پرداخته شده است. سپس، روشي با نام بوف براي تشخيص ربات هاي جستجو ارائه شده است. در روش بوف براي دستيابي به دقتي بالا در تشخيص ربات هاي ناهنجار، از پارامترهاي مختلف و نسبتاً زيادي براي مدل كردن رفتار كاربران استفاده شده است. پس از تعيين اولويت پارامترها در تشخيص ماهيت كاربران، درخت تصميمي ساخته شده و اقدام به دسته بندي كاربران در گروه هاي انسان، ربات مخرب، ربات مجاز و نامشخص مي كند. ربات هاي تشخيص داده شده در درخت تصميم، بخش ديگري از سامانه تشخيص ربات را فعال مي كند كه قادر است با توجه به الگوي رفتاري شبكه هاي رباتي، حتي ربات هايي با نرخ درخواست پايين را نيز شناسايي كند. ارزيابي روش پيشنهادي بر روي داد هاي آزمون، صحت 97/7درصدي را در تشخيص ماهيت كاربران نشان مي دهد كه حداقل بهبود دقت 9/9 درصدي را نسبت به روش هاي بررسي شده در اين حوزه نشان مي دهد. رقم قابل توجهي كه در هر روز تصميم گيري در مورد 2230 كاربر را تحت تاثير قرار مي دهد.

Search engines can be introduced as a best tool for managing، retrieving and extracting important information from a massive set of web data. These engines are scheduled to search the vast web environment and collect countless pages stored in every corner of the web. Search engines providers are always looking for improving the relationship between the results and reducing response times to users، but both of these can be influenced by the automated traffic sent by the bots. This article first defines bots and challenges of detecting them. Then، it provides a method named ‘boof’ for detecting Search robots. In ‘the boof method’، to achieve high accuracy in detecting anomaly robots، many different parameters are used to model the users’ behavior. After determining the priority of parameters in detecting users، decision tree is made and attempted to categorize users into groups of humans، bots، legal bots and the unknown. Robots detected in the decision tree، enable another part of the robot detection system to identify robots even with low request rate. This is done by detecting the botnet behavior pattern . Evaluation of the proposed method on test data shows 97.7 percent accuracy in recognizing users that this improves the accuracy of at least 9،9 percent compared to the methods examined previously in this area. This is a significant digit that influences decision-making about 2230 users during each day.