آبگير داده: رويكردي نوين جهت مديريت و تحليل بي درنگ داده هاي حجيم

Data Tarn: A New Approach for Management and Real-Time Analyses of Big Data

با افزايش سرعت توليد داده ها، نياز به پردازش، ذخيره سازي و تحليل داده هاي حجيم روزبه روز در حال افزايش است. به تازگي درياچه داده براي داده هاي ناساختيافته (با خصوصيت BASE) مطرح شده است. اما وجود داده هاي حساس ساخت يافته (با خصوصيت ACID) و داده هاي با حساسيت كمتر غيرساخت يافته در داده هاي حجيم از طرفي باعث بروز مشكلاتي جديد در مديريت داده هاي حجيم با استفاده از اين روشها شده است. در اين مقاله راه حلي ارائه خواهد شد كه قادر خواهد بود داده هاي ساخت يافته و ناساخت يافته با خصوصيات متفاوت را به صورت هم زمان ذخيره سازي و به پرس وجوهاي كاربر به صورت بلادرنگ پاسخ دهد. روش مذكور پس از بررسي انبار داده و درياچه داده، مشخص كردن نقاط قوت و ضعف و درنهايت با تلفيق اين دو روش مطرح شده است. به عنوان يكي از نتايج مهم اين تحقيق پس از مقايسه انبار داده و درياچه داده خواهيم ديد، درياچه داده جايگزيني براي انبار داده نبوده و انبار داده كاربرد هاي خاص خود را مخصوصا در داده هاي مالي دارد، زيرا از نظريه ACID پيروي كرده و درياچه داده نيازمندي هاي نظريه BASE را رفع مي كند. ايده مطرح شده در اين مقاله با عنوان آبگير داده، داراي سه مزيت اصلي است: 1- استفاده هم زمان از انبار داده و درياچه داده جهت پاسخگويي بلادرنگ به انواع نياز هاي دادهاي سازمان با بهره گيري از مزاياي آن ها 2- تفكيك داده هاي جديد از قديمي جهت رسيدن به بي درنگي 3- ايجاد توازي و درنتيجه عدم هم زماني بارگذاري داده و پردازش پرس وجو جهت كاهش هزينه زماني.

By increasing the speed of data generation, need to process, store and analyze of Big Data becomes increasing. Related work has been done to create real-time data warehouse, but according to current unstructured data in Big Data, data warehouse with the old structure, it doesn't answer new management requirements of this type of Data. Recently, Data Lake has been proposed for unstructured data (with BASE properties). However, existence of important structured data (with ACID properties) and less sensitive unstructured big data on the other hand, causing new problems in the management of Big Data by using of this methods. In this paper we will offer a solution which is able to store structured data and unstructured data simultaneously and it can response to user’s queries in real-time. As one of the important results of this research, after comparing the data warehouse and Data Lake concluded that the lake is not a replacement for a data warehouse, and data warehouse has particular use, especially in financial data; because the data warehouse compliance ACID theory, and Data Lake cater requirements of BASE theory. The raised idea in this paper has three main advantage: 1- Simultaneous use of data warehouse and Data Lake to meet the needs of the organization data with the benefits of them. 2- Separating new data from old data to achieve real-time. 3- Development parallelism, thus synchronization loading data and query processing to reduce the cost of time.