افزايش سرعت خوشه‌بندي داده‌هاي بزرگ با استفاده از مدل MapReduce در Hadoop/Mahout

مقدار داده‌ي توليد شده‌ در دنياي مدرن امروزي با نرخ بي‌سابقه‌اي در حال رشد است، و با داده‌هاي بسيار حجيمِ پتابايت ، اگزابايت و زتابايت مواجه هستيم. پردازش، آناليز، ذخيره و خوشه‌بندي داده‌هاي بسيار حجيم، به يكي از چالش‌هاي حوزه فناوري‌اطلاعات، صنعت و آكادميك تبديل شده است. از فن‌آوري‌هايي كه امروزه در مسائل مختلف كاربرد دارد، تكنيكِ MapReduce شركت گوگل است كه با سيستم فايلِ گوگل معرفي شد. چارچوب متن‌بازِ Hadoop، محبوب‌ترين چارچوب پردازش، ذخيره و تحليل كلان‌داده در فن‌آوري محاسبات ابري، مقدار زيادي از توجه محققان را به خود جلب كرده است. Hadoop-MapReduce، از تكنيك‌هاي پردازش موازي است كه به‌خوبي توانسته مقياس‌پذيري پردازش داده‌هاي حجيم را بهبود دهد و به‌عنوان راهكاري مناسب در خوشه‌بندي داده‌هاي بزرگ كاربرد دارد. تعدادي از تحقيقات، الگوريتم‌هاي خوشه‌بندي را بر اساس Hadoop طراحي و تست كرده‌اند. با اين حال اندك تحقيقاتي بر اساس پلت‌فرم Mahout اجرا و تست شده است. Mahout كتابخانه‌ي منبع ‌‌بازِ مقياس‌پذير يادگيري ماشين است كه بيشتر الگوريتم‌هاي آن مبتني بر MapReduce است. در اين مقاله قصد داريم الگوريتم خوشه‌بندي K-means مبتني بر MapReduce، را درMahout معرفي و بررسي نماييم.