بهبود زمان پاسخ پردازش پرس و جوها در هايو (HIVE) بر اساس روش هاي مبتني بر هزينه

با ظهور وب2 در كاربردهاي جديد تحت وب، نقش كاربران تغییر یافت و به اين ترتيب انقلابي در توليد و به‌كارگیری محتواي ديجيتال اتفاق افتاد. اين موضوع منجر به تولید و نگهداري توده انبوهی از داده در سمت سرورها شد. این تغییر، نیازمند روش های جدید برای ذخیره سازی حجم بالای داده ها و پشتیبانی از پرس و جوهای كارا و موثر بر روی آن می باشد. در زمینه داده های حجیم، كه با حجم بی سابقه ای از داده ها، شتاب زیاد در سرعت تولید داده و انواع مختلف ساختارهای داده روبه رو شده ایم، پشتیبانی از تحلیل داده ها در مقیاس بزرگ یك كار چالش برانگیز است. از جمله تحقيقاتي كه در اين حوزه انجام شده است، توليد نرم افزار هایو به عنوان يك نرم افزار انبارداده در بستر هدوپ ميباشد. HiveQL زبان پرس و جوی sql-like است كه زبان پرس و جوی هایو می باشد. برای اعمال بهینه سازی بهتر و بهبود كارایی سیستم هایو و كاهش زمان پاسخ اجرای پرس و جو در هایو باید الگوریتم های پردازش پرس و جو را در هایو برای اجرای موثر آن‌ها تغییر دهیم و علاوه بر بهینه سازی مبتنی بر قاعده، بهینه سازی مبتنی بر هزینه را در سیستم اعمال كنیم. با اعمال این نوع از بهینه سازی از بین نقشه های اجرایی ممكن بهترین نقشه با توجه به بهینه سازی مذكور برای اجرا انتخاب میشود و در نتیجه كارایی بالاتر و زمان پاسخ كمتر را در سیستم هایو خواهیم داشت. یكی از چالش های پردازش پرس و جوهای داده های حجیم بهبود كارایی و كاهش زمان پاسخ است. از این‌رو تحقیق حاضر با استفاده از تكنیك های بهبود پردازش داده، به بهبود كارایی و كاهش زمان پاسخ پردازش پرس و جو در سیستم هایو میپردازد. درنتیجه در این تز جهت انتخاب و استفاده ایندكس بهینه پیشنهاد میشود كه انتخاب ایندكس بهینه بعنوان یك پیش پردازش برای جدول موردنظر انجام شود و از نتیجه آن برای اجرای پرس و جو استفاده شود.