ارائه يك الگوريتم زمانبندي براي سيستم توزيع شده پردازش جريان

A NEW SCHEDULING ALGORITHM FOR DISTRIBUTED STREAM PROCESSESING SYSTEM

امروزه با پيشرفت فناوري¬ها در حوزه كامپيوتر و فراگير شدن اينترنت و شبكه¬هاي اجتماعي، شاهد رشد روزافزون ميزان داده¬ها و پيدايش كاربرد¬هاي جديد هستيم. افزايش داده¬ها و ظهور كاربرد¬هاي جديد سبب شده تا مدل¬هاي پردازشي قديمي قادر به پردازش اين حجم از داده¬ها و مناسب كاربرد¬ها و نياز¬هاي جديد نباشند. براي حل اين مسأله مدل¬هاي پردازشي گوناگوني ارائه شده¬اند. يكي از اين مدل¬هاي پردازشي، مدل پردازشي جرياني نام دارد كه براي پردازش داده¬هايي كه بايد به صورت بلادرنگ پردازش شوند ارائه شده است. استورم يكي از سيستم¬هاي پردازش جرياني توزيع شده است كه به دليل متن باز بودن، سرعت پردازش بالا، تحمل پذيري خطا و مقياس پذيري در كاربرد¬هاي متنوع، بسيار محبوب شده است. يكي از عوامل تأثيرگذار در كارايي سيستم¬هاي پردازش جرياني توزيع شده مانند استورم چگونگي زمان¬بندي كارها (تخصيص كارها به منابع موجود) توسط سيستم است. در اين تحقيق سعي در ارائه چارچوبي براي زمان¬بندي كارها در سيستم استورم داريم. مبناي راه¬حل پيشنهادي ما چند چيز بوده است. اول اينكه مسأله زمان¬بندي كارها در سيستم استورم (با توجه به قيدهاي مسأله) يك مسأله سخت است و بنابراين چاره¬اي نيست جز آنكه تلاش خود را معطوف به طراحي يك الگوريتم تقريبي براي مسأله كنيم. دوم اينكه براي طراحي يك الگوريتم كارا، بايد به كم كردن تأخير ارتباطي بين فرايندهاي مجري كارها و نيز به استفاده مؤثرتر از منابع در اختيار سيستم توجه كرد. نهايتاً اينكه مدير سيستم و برنامه¬نويس نيز مي¬توانند با بهره¬گيري از تجربيات خود به زمان¬بندي بهتر كمك كنند. چارچوب پيشنهادي با قرار دادن وظايف مرتبط با هم در ماشين¬هاي نزديك به يكديگر و توجه به توازن بار ماشين¬ها، تأخير ناشي از انتقال پيام¬ها را كاهش و بهره¬وري از توان محاسباتي ماشين¬ها در سيستم استورم را افزايش خواهد داد، و نهايتاً سبب كاهش زمان پاسخ در كل سيستم خواهد شد. كارايي بالاي الگوريتم پيشنهادي در تخصيص كارها به ماشين¬ها با توجه به عملكرد آن توجيه شده است؛ به علاوه، آزمايش¬هاي انجام شده رفتار هوشمندانه الگوريتم را نشان مي¬دهند.

Today with the advancement of technologies in the field of computers and the emergence of the internet and social networks, we are witnessing the ever-increasing amount of data and the emergence of new applications. Increasing data and the emergence of new applications have made the old processing models unable to process this volume of data and to fit the needs and applications of the new ones. Various processing models were proposed to solve this problem. One of these processing models is the stream processing model (stream data processing). The stream processing model is provided for applications that need to be processed in real time. Storm is one of the stream processing systems that has became very popular due to features such as open source, high processing speed, fault tolerance and scalability in a variety of applications. One of the effective factors in the efficiency of distributed data flow processing systems, such as Storm, is how the system schedule the tasks. Scheduling is actually the assigning of tasks to the resources in the system. In this research, we are trying to provide a framework for task scheduling in the Storm system. The basis of our proposed solution include: First, the problem of scheduling tasks in the Storm system (given the constraints of the problem) is a hard problem, and therefore there is no other way than to focus on designing an approximate algorithm for the problem. Secondly, in order to design an efficient algorithm, it should be noted that the communication delay between the processes of the executor and the more efficient use of the resources is given to the system. Finally, system administrators and programmer can also help improve scheduling by utilizing their experiences and capabilities. The proposed framework, by placing related tasks in close-fitting machines and paying attention to load balances, will reduce the delay caused by message passing and increase the utilization of machines computing power in the system of Storm and ultimately reduce the response time in the entire system. The efficiency of the proposed algorithm is explained in the optimal allocation of tasks to the machines according to its performance; in addition, the experiments show the intelligent behavior of the algorithm.