روشي براي ادغام و يكپارچه سازي داده هاي حجيم در تجارت الكترونيك با استفاده از پلت فرم هدوپ

منابع داده اغلب فقط داده هاي جاري را ذخيره سازي مي نمايند و داده هاي تاريخي را در خود نگهداري نمي كنند . همچنين تصميم گيري در شركت هاي تجاري نيازمند يك ديد يكپارچه از همه داده هاي سازماني، شامل اطلاعات تاريخي مي باشد . يك پايگاه داده تحليلي از اطلاعات جمع آوريشده از منابع متعدد ميباشد كه تحت يك شماي يكپارچه در يك سايت ذخيره شده اند، تا حد زيادي انجام پرس و جو را ساده مي كند و همچنين امكان مطالعه در خصوص رويه هاي تاريخي را نيز فراهم مي سازد و نيز بار پرس و جو برايپشتيباني از تصميم را از روي سيستم هاي پردازش تراكنش برمي دارد. از آنجايي كه مجموعه داده مورد استفاده در اين پژوهش جزء دادههاي بزرگ ميباشد، پياده سازي روش پيشنهادي براي يكپارچه سازي و ادغام دادهها و ايجاد پايگاه داده تحليلي با استفاده از ابزار هدوپ و در سه مرحله نگاشت كاهش(پاك سازي، تعيين كليد خارجي و ادغام دادهها با شماي ستارهاي) انجام ميپذيرد. براي ارزيابي – روش پيشنهادي در بستر هدوپ از فاكتور حجم فضاي اشغال شده جهت ادغام دادهها استفاده شده كه در مقايسه با روش پايه عملكرد مورد قبولي را داشته است .