معرفي چارچوب هاي نرم افزاري موجود براي پردازش داده هاي انبوه بصورت موازي بر روي سيستم هاي توزيع شده

امروزه داده های عظیم در بسیاری از حوزه های علم از جمله نجوم، فیزیك، بیوانفورماتیك و پزشكی رواج پیدا كرده اند. برای ذخیره كردن این داده ها بطور مؤثر و همچنین تجزیه وتحلیل این منابع عظیم، معماری های توزیع شده و موازی خیلی محبوب شده اند. نرم افزارهای تحلیل داده در مقیاس بزرگ به ویژه در حوزه های تحلیل وب یا مدیریت داده های علمی، همواره نیاز به پردازش داده در مقیاس ترابایت و یا حتی پتابایت دارند، در گذشته، پردازش داده ها بصورت موازی در حوزه سیستم های پایگاه داده موازی بود؛ اما امروزه، نیازمندی های جدید مانند گسترش منابع به هزاران ماشین، بهبود تحمل خطا و مدل پردازشی رایگان، روشی جدید برای پردازش داده ها ایجاد كرده است. در این مقاله چارچوب های نرم افزاری موجود كه برای پردازش داده های عظیم و انبوه و انجام محاسبات بر روی سیستم های توزیع شده استفاده می شود معرفی شده است. سپس مشخصات و ویژگی های هر كدام از این چارچوب ها شرح داده شده است. در آخر، این چارچوب های نرم افزاری در قالب یك جدول با یكدیگر مقایسه شده اند.