مروري بر مشكلات متداول رگرسيون و راه حل‌هاي آنها

مدل در رگرسيون خطي معمولي به صورت Y=Xβ+ϵ است و برآورد پارامتر β عبارتست از: β=(X’X)^-1X’Y. با اين حال در هنگام استفاده از اين برآوردگر به صورت عملي، ممكن است مشكلات خاصي مانند مشكل انتخاب متغير، هم خطي، مدل با ابعاد بالا، كاهش بعد، وجود خطاي اندازه‌گيري بوجود آيد كه استفاده از برآوردگر بالا را مشكل مي سازد. در اغلب اين مشكلات، مساله اصلي عدم معكوس پذيري ماتريس X’X است. براي رفع آن ها راه حل‌هاي متعددي ارايه شده است. در اين مقاله ضمن مروري بر اين مشكلات، مجموعه اي از راه حل هاي معمول و متداول و همچنين چند روش خاص و پيشرفته (كه كمتر مورد اقبال همگان است ولي با اين حال توانايي بالقوه اي در رفع هوشمند اين مشكلات دارند) براي رفع آن ها را بررسي مي كنيم.