راهكاري توزيع شده براي خوشه بندي كلان داده هاي تركيبي

A Distributed Solution for Mixed Big Data Clustering

با توجه به سرعت روزافزون توليد اطلاعات و همچنين وجود نيازمندي تبديل اطلاعات به دانش، نياز به الگوريتم‌هاي داده‌كاوي به شدت لمس مي‌شود. خوشه‌بندي يكي از تكنيك‌هاي داده‌كاوي است و توسعه آن سبب پيشرفت در جهت فهم بيشتر محيط پيرامون مي‌شود. در اين مقاله، راهكاري پويا و مقياس‌پذير براي خوشه‌بندي داده‌هاي تركيبي با ابعاد كلان به همراه نقصان در داده‌ها ارائه گرديده است. به علت هدف‌گذاري حوزه كلان‌داده‌ها، راهكار پيشنهادي به صورت توزيع‌شده، داده‌ها را پردازش مي‌كند. در اين راهكار از ادغام معيارهاي فاصله رايج با مفهوم نزديك‌ترين همسايگي مشترك و همچنين به كارگيري نوعي از كدگذاري هندسي بهره برده شده است. همچنين روشي براي ترميم داده‌هاي از دست رفته در مجموعه داده نيز در آن در نظر گرفته شده است. با بهره‌گيري از تكنيك‌هاي موازي‌سازي و توزيع پردازش في‌‌مابين گره‌هاي متعدد مي‌توان به مقياس‌پذيري و تسريع دست يافت. الگوريتم پيشنهادي نيزاز اين روش‌ها به جهت دستيابي به اين مهم بهره‌ مي‌برد. ارزيابي اين راهكار بر اساس معيارهاي سرعت، دقت و حافظه مصرفي با مقايسه با ديگر موارد انجام مي‌شود.

Due to the high-speed of information generation and the need for data-knowledge conversion, there is an increasing need for data mining algorithms. Clustering is one of the data mining techniques, and its development leads to further understanding of the surrounding environments. In this paper, a dynamic and scalable solution for clustering mixed big data with a lack of data is presented. In this solution, the integration of common distance metrics with the concept of the closest neighborhood, as well as a kind of geometric coding are used. There is also a way to recover missing data in the dataset. By utilizing parallelization and distribution techniques, multiple nodes can be scalable and accelerated. The evaluation of this solution is based on speed, precision, and memory usage criteria compared to other ones.