مقايسه عملكرد Hadoop- Mapreduce و Spark

امروزه با رشد روز افزون ابزارهايي مانند شبكه هاي اجتماعي و ظهور مفاهيمي همچون وب معنايي حجم داده ها و پردازش آنها بطور شگفت انگيزي افزايش يافته است . براي نمونه يك موتور جستجو در كسري از ثانيه نتايج جستجوهاي كاربر را آماده مي كند كه اين ناشي از تحليلي كارآمد روي داده هاي حجيم جمع آوري شده از سطح وب مي باشد ، بنابراين وجود مكانيزمي براي پردازش داده هاي حجيم با هزينه اي مقرون به صرفه بسيار پر اهميت است . در اين مقاله قصد داريم الگوريتم هاي تركيبي در چارچوب ماهوت براساس مدل Hadoop- Mapreduce و Spark را مورد مقايسه قرارداده و نقاط ضعف و قوت هريك را بررسي نماييم . نتايج مقايسات نشان مي دهد كه اسپارك علاوه بر داشتن تمامي نقاط هدوپ نقاط ضعف آن را نيز توسط پردازش درون حافظه اي ، سرعت بالاتر ، دارا بودن توابع API فراوان كه اين امر كار را براي برنامه نويسان و استفاده كنندگان راحتتر مي كند ، قابليت برنامه نويسي در پايتون ، اسكالا ، جاوا و حتي زبانR و موتور پردازش متحد و يكپارچه نيز بخشي از نقاط قوت اسپارك مي باشد . حال آن كه Mapreduce يك مدل پردازش داده با مقياس پذيري آسان پردازش داده روي چندين گره محاسباتي است اين پاردايم برنامه را در دو فاز نگاشت و كاهش اجرا مي كند.