يك روش تحليل داده هاي بزرگ كسب و كار هاي تجاري با استفاده از فناوري آپاچي اسپارك

امروزه حجم بالايي از داده هاي تجاري در فضاي مجازي ايجاد مي شود كه مرتبط با انواع كسب و كارهاي آنلاين است. مسلماً داده هاي بكار رفته در اينترنت كه حاصل فعاليتهاي تجاري مي باشند داراي اطلاعات باارزش و مهمي مي باشند كه مي توان با روش هاي كشف دانش مانند داده كاوي و يادگيري ماشين تا حدود زيادي اين دانش را استخراج نمود. چالش مهم در پردازش و تحليل داده هاي مرتبط به كسب و كارهاي آنلاين آن است كه حجم آنها بيش از اندازه در حال افزايش است و از اين جهت پردازش آنها در زمان واقعي ممكن نبوده و نياز به زمان زيادي براي پردازش دارند زيرا اين داده ها مي توانند از نوع كلان داده باشند و زمان پردازش آنها بيش از حد انتظار است. يكي از روش هاي پردازش كلان داده استفاده از فناوري پردازش توزي شده در سيستم هاي مانند آپاچي اسپارك است كه در اين مقاله يك چارچوب مبتني بر كتابخانه هاي يادگيري ماشين در اسپارك براي پردازش كلان داده تجاري ارايه مي شود تا در زمان اندك و نيزديك به زمان واقعي داده هاي تجاري را مورد پردازش قرار دهد. آزمايشات نشان مي دهد روش پيشنهادي در بستر اسپارك شتاب يادگيري در تكنيك هاي ماشين بردار پشتيبان، درخت تصميم گيري و جنگل تصادفي را به ترتيب 6. 22.96، 7.86 و 5.69 برابر مي نمايد از طرفي خطاي اين روش ها براي تشخيص و اعتبارسنجي مشتريان به ترتيب برابر 0.572، 0.533 و 0.491 است.