چارچوب هدوپ ، كاربردها و چالش‌هاي پيش روي آن

در سال‌هاي اخير، شاهد افزايش چشم‌گير توليد داده بوده‌ايم. به گفته IBM تقريباً، 90 % كل داده‌هاي ذخيره‌شده موجود در دنيا، در دو سال اخير توليد شده‌اند و براي اولين بار در تاريخ، در سال 2007 ميلادي بود كه حجم داده‌هاي توليدي فراتر از فضاي موجود براي ذخيره‌سازي آن‌ها رفت. همچنين، طيف گسترده‌اي از برنامه‌هاي كاربردي مانند موتورهاي جستجو، تحقيقات پزشكي، پيش‌بيني آب‌وهوا و برنامه‌هاي علمي براي پردازش و تجزيه‌وتحليل مقادير داده‌اي بزرگ نيازمند محيط‌هاي توزيع‌شده هستند. داده‌هاي عظيم همانند ساير فن آوري‌ها، فرصت‌ها و چالش‌هاي متعددي را پيشروي استفاده‌كنندگان قرار داده است، استفاده از فرصت‌ها و مزاياي آن در كسب‌وكار و مديريت صحيح چالش‌ها به يكي از موضوعات داغ در عرصه فن آوري اطلاعات تبديل ‌شده است. بنابراين، وجود راه حلي براي پردازش اطلاعات عظيم با هزينه‌اي مقرون‌ به‌صرفه بسيار اهميت دارد، لذا يكي از بهترين راه‌حل‌ها براي رفع مشكل پردازش اطلاعات عظيم استفاده از چارچوب آپاچي هدوپ است. تعريف گارتنر از هدوپ اين است كه «هدوپ يك چارچوب مديريت داده است كه حجم زيادي از داده‌هاي داراي ساختار و بدون ساختار را كه تقريباً در تمامي لايه‌هاي سازماني اثر مي‌گذارد، در كنار هم مي‌آورد كه موجب قرارگيري آن در بطن مراكز داده مي‌شود». هدوپ بخشي از پروژه آپاچي است كه بنياد نرم‌افزار آپاچي آن را حمايت مي‌كند. در واقع، هدوپ يك چارچوب برنامه‌نويسي رايگان و مبتني بر جاوا است كه ما را در پردازش مجموعه‌هاي عظيمي از داده‌ها در يك محيط پردازش توزيعي پشتيباني مي‌كند. لذا در اين مقاله قصد داريم مقايسه‌اي بين پايگاه داده‌هاي ساخت‌يافته و نيافته داشته باشيم و سپس به بررسي معماري آپاچي هدوپ و كاربردهاي وسيع آن در داده‌هاي عظيم امروزي و همچنين چالش‌هاي پيشروي اين فناوري نوپا مثل پردازش دسته‌اي، گلوگاه و پردازش‌هاي بلادرنگ بپردازيم.