ارائه يك الگوريتم زمانبندي جديد براي كاهش زمان محاسبات در محيط هادوپ

امروزه پروژه متن‌باز هادوپ به‌همراه چهارچوب نگاشت كاهش در بين مؤسسات، سازمان‌ها و محققين محبوبيت زيادي دارد كه براي پردازش حجم انبوهي از داده‌ها به‌صورت موازي بر روي خوشه‌اي از كامپيوتر‌ها بسيار مناسب است. نگاشتكاهش براي حل مشكلات محاسبات داده‌هاي حجيم معرفي شده است كه از قاعده تقسيمغلبه پيروي مي‌كند. مانند هر جاي ديگر، مبحث زمان و زمان‌بندي در نگاشت كاهش از اهميت بسيار بالايي برخوردار است. به‌همين دليل در دهه اخير الگوريتم‌هاي زمانبندي متعددي در اين زمينه تدارك يافته است. ايده اصلي اين الگوريتم‌ها افزايش نرخ محلي‌‌سازي داده، هم زمان‌سازي، كاهش زمان پاسخ و زمان اتمام وظايف مي‌باشد. اكثر اين الگوريتم‌ها تك هدفه مي‌باشند و فقط يكي از موارد ذكر شده را مورد هدف قرار مي‌دهند. الگوريتم هاي چند هدفه موجود فقط بر روي يكي از فازهاي اول يا دوم نگاشتكاهش تمركز دارند. در اين مقاله، يك الگوريتم زمان بندي تركيبي مبتني بر اولويت‌بندي پويا كار‌ها و محلي‌‌سازي داده در محيط نگاشت‌كاهش به نام HSMRPL ارائه مي‌‌شود كه هدف اصلي آن افزايش نرخ محلي‌سازي داده و كاهش زمان محاسبات مي‌باشد. در اين الگوريتم از دو روش اولويت‌بندي پويا و شناسه محلي‌‌سازي استفاده مي‌شود. براي ارزيابي الگوريتم پيشنهادي، آن‌ را با الگوريتم‌هاي پيش‌فرض هادوپ و به كمك محك‌هاي استاندارد مقايسه كرديم. نتايج حاصله نشان مي‌دهد كه الگوريتم پيشنهادي ما نرخ محلي‌سازي را نسبت به الگوريتم 18/51، FIFO،، درصد و نسبت به الگوريتم Fair، 10/4 درصد افزايش داده است. همچنين، الگوريتم پيشنهادي ما نسبت به الگوريتم FIFO، 3/8 درصد و نسبت به Fair، 13/4 درصد سريعتر است.