تحليلي بر مساله‌ انتخاب متغيرهاي كمكي در مدل گاوسي با استفاده از ماكسيمم احتمال پسين و رهيافت‌هاي فراواني‌گرا و بيزي

An analysis on covariates selection problem for Gaussian model by Maximum a posteriori criterion using frequentist and Bayesian approaches

مساله‌ي انتخاب مناسب‌ترين مدل جهت برازش بر روي داده‌ها همواره چالش برانگيز بوده است. روش ماكسيمم احتمال پسين از جمله روش‌هاي انتخاب مدل است كه در هر دو رهيافت فراواني‌گرا و بيزي كاربرد دارد. به‌علاوه، مطلوبيت مدل نيز يكي از ابزارهاي مورد استفاده براي سنجش عملكرد روش‌هاي انتخاب مدل است. در اين مقاله، روش ماكسيمم احتمال پسين براي مدل گاوسي استاندارد بيزي مورد مطالعه قرار گرفته و عملكرد آن با حالت فراواني‌گرا مقايسه مي‌شود. همچنين، يك صورت جبري براي برآورد مطلوبيت مدل ارائه خواهد شد. در ادامه، مطالعه‌ي شبيه‌سازي روي مدل گاوسي عملكرد بهتر رهيافت بيزي را هم از ديدگاه مطلوبيت و هم با بررسي ميانگين توان‌هاي دوم خطاي مدل ( MSE) تاييد مي‌كند. با اين وجود، هر دو رهيافت با افزايش اندازه‌ي نمونه، كمتر در معرض بيش‌برازش قرار مي‌گيرند. همچنين با افزايش ضريب همبستگي ميان متغيرهاي كمكي، در هر دو رهيافت افزايش يافته حال آن‌كه تمايل به انتخاب مدل با تعداد متغير كمتر، افزايش مي‌يابد. مطالعه بر روي داده‌هاي واقعي نشان مي‌دهد كه در هر دو رهيافت با افزايش اندازه‌ي نمونه، مدل‌هاي انتخاب شده، كاهش مي‌يابد.

Choosing the most suitable fitted model on data is one of the common challenges in statistical modeling. Maximum a posteriori (MAP) criterion is a method used in both frequentist and Bayesian approaches. Additionally, the utility of the model is used as a tool to compare the performances of methods. In this paper, the MAP method is applied for the Gaussian model and its performance is compared to that of frequentist approach. Also, an analytical form of utility estimation is proposed. Besides, using simulation studies, it is shown that the Gaussian model has better performance, based on both utility and mean of squared errors (MSE) criteria, when it is used by the Bayesian approach. However, both frequentist and Bayesian approaches avoid over-fitting by increasing the sample size. Also, by increasing correlation among covariates, MSE increases, while the tendency of choosing fewer covariates is raised. Eventually, the study on a real dataset is shown that in both frequentist and Bayesian approaches, MSE of selected models decreases when the size of sample increases.