غربالگري متغيرها در داده هاي بزرگ با استفاده از همبستگي فاصله اي

در تحليل داده هاي با بعد بسيار بالا، شناسايي متغيرهاي پيشگوي مؤثر بر پاسخ، از اهميت بسزايي برخوردار است. در اين نوع داده ها، ابتدا با استفاده از يك روش غربالگري تعداد متغيرهاي پيشگو را كاهش داده و سپس از روش هاي انتخاب متغير مبتني بر جريمه براي انتخاب مدل نهايي استفاده مي كنيم. در اين مقاله، براي غربالگري متغيرها از ضريب همبستگي فاصله اي بين متغيرهاي پيشگو و تابع توزيع حاشيه اي متغير پاسخ استفاده مي كنيم. اين روش نسبت به تشخيص نادرست ساختار مدل نيرومند بوده و همچنين زماني كه متغير پاسخ دم سنگين يا داراي مقادير فرين باشد، عملكرد خوبي را از خود نشان مي دهد. كارايي اين روش را با يك مثال شبيه سازي نشان مي دهيم.