كليدواژه :
فناوري , بزرگ داده , بررسي تطبيقي چارچوب‌ها , كاربرد بزرگ داده , چالش‌ها
چكيده فارسي :
امروزه سازمان‌ها، با به‌كارگيري فناوري بزرگ داده، از طريق دريافت و به اشتراك‌گذاري ساده‌تر و ارزان‌تر اطلاعات، قادر به اداره حجم زيادي داده‌ها، با سرعت و تنوع زياد شده‌اند. فناوري دادههاي عظيم، در صورت حل صحيح مشكلات مرتبط، فرصت‌هاي زيادي را فراهم مي‌كنند. فناوري‌هاي گذشته، در پردازش دادههاي موجود براي مواجهه با مقادير زياد دادههاي توليد شده، مناسب نيستند. درصورتيكه قالب‌هاي پيشنهادي براي كاربردهاي بزرگ داده، به ذخيره، تجزيه و تحليل و پردازش دادههاي عظيم كمك مي‌كنند. در اين تحقيق، ابتدا تعاريف و چالش‌هاي بزرگ داده، بررسي شده و سپس تعدادي از چارچوب‌هاي بزرگ دادۀ موجود ( هادوپ، فلينك، استورم، اسپارك و سمزا)، مورد مطالعه و مقايسه تطبيقي قرار گرفته است. چارچوب بزرگ دادههاي مورد مطالعه، به طور كلي در دو دسته طبقه‌بندي مي‌شود: (1) حالت دسته‌اي و (2) حالت جرياني. چارچوب هادوپ، داده‌ها را در حالت دسته‌اي پردازش مي‌كند، در حالي كه چارچوب‌هاي ديگر، اجازۀ پردازش جرياني يا بلادرنگ را مي‌دهند. نهايتاً مهم‌ترين كاربردهاي فناوري بزرگ داده تشريح شده است. مهم‌ترين كاربردهاي تحليل بزرگ داده عبارتند از: كاربردهاي برنامه‌هاي بهداشتي، سيستم‌هاي توصيه‌گر، شهر هوشمند و تحليل شبكه‌هاي اجتماعي. با توجه به رشد دستگاه‌‌ها‌ي متصل به اينترنت، دادههاي شبكه‌هاي اجتماعي به طور گسترده در حال رشد بوده و نياز بيشتري به فناوري بزرگ داده دارند. همچنين مهم‌ترين چالش‌هاي كاربرد بزرگ داده‌ها، شامل محرمانگي در سيستم‌هاي ذخيره‌سازي، كمبودهاي نرم‌افزاري و محدوديت ابزارها و امكانات سخت‌افزاري موجود، لزوم سرمايه‌گذاري بزرگ اوليه و فقدان مهارت‌هاي تكنيكي و نيروي كار خبره مي‌باشد.
چكيده لاتين :
Today, receiving and sharing information is easier and cheaper than before, enabling organizations to handle large volumes of data at a high speed and variety in the name of big data. Big data technology provides many opportunities when problems are resolved correctly. Data processing technologies in the past are not suitable for dealing with large quantities of generated data. While Suggested frameworks for big data applications help to store, analyze and process data. In this study, we first reviewed and summarized the big data definitions, and challenges of using it and then a number of important big data frameworks (Hadoop, Flink, Storm, Spark and Samza) have been studied and compared comparatively. The studied framework of big data is generally classified into two categories: (1) batch mode; and (2) stream mode. The Hadoop framework processes data in batch mode, while other frameworks allow stream or real time processing. Ultimately, the most important applications of using big data technology have been described. The most important applications for big data analysis are healthcare applications, advisory systems, smart cities and social networks analysis. Due to the growth of Internet-connected devices, social networking data is growing widely and requires more big data technology. Also, the most challenges of big data application, including confidentiality in storage systems, software deficiencies and the limitation of existing hardware and equipment, the need for large initial investment and the lack of technical skills and expert workforce
