حذف تناظرهاي اشتباه بر مبناي ماتريس شكل در تناظريابي تصاوير با خط مبناي بلند

Mismatch Elimination based on Shape Matrix for Wide-baseline Image Matching

تناظريابي تصاوير با خط مبناي بلند و تغييرات شديد زاويه ديد، نقش مهمي در بسياري از كاربردها در ماشين بينايي و فتوگرامتري نظير بازسازي سه بعدي و هم‌مرجع‌سازي تصوير ايفا مي‌كند. يكي از مشكلات اساسي تناظريابي اين نوع از تصاوير وجود تعداد نسبتاً زياد تناظرهاي اشتباه است. به‌منظور حذف اشتباهات عموماً سازگاري هندسي تناظرها با استفاده از قيدهاي هندسي مختلف نظير خط اپي‌پولار و روش‌هاي برآورد پايدار نظير اجماع نمونه تصادفي، RANSAC (Random Sample Consensus)، كنترل مي‌شود. اين روش‌ها در تصاوير با خط مبناي بلند به دليل درصد بالاي تناظرهاي اشتباه دچار اشكال مي‌شوند. در اين مقاله روشي جديد براي حذف تناظرهاي اشتباه در تناظريابي تصاوير با تغيير شديد زاويه ديد ارائه‌شده است. براي اين منظور، در ابتدا عوارض اوليه بيضي‌شكل با استفاده از الگوريتم بهبود يافته نواحي حدي بيشينه پايدار MSER (maximally stable extremal regions) در هر دو تصوير استخراج مي‌شوند. سپس براي هر عارضه، توصيفگر متمايز DAISY محاسبه مي‌شود. در مرحله بعد با مقايسه توصيفگرها در دو تصوير تناظرهاي اوليه تعيين مي‌شوند. در ادامه، تناظرهاي اوليه با استفاده از يك روش جديد بر مبناي قيدهاي هندسي مستخرج از ماتريس شكل عوارض با عنوان حذف اشتباهات تناظريابي بر مبناي ماتريس شكل، MESM (Mismatch elimination based on shape matrix) پالايش شده و بيشتر آنها شناسايي و حذف مي‌شوند. در نهايت اشتباهات كم باقيمانده با بهره‌گيري از يك قيد هندسي حذف مي‌شود. روش پيشنهادي بر روي هشت جفت تصوير بردكوتاه با تغييرات شديد زاويه ديد اجرا شده و نتايج بيانگر قابليت بالاي آن در تناظريابي كارآمد تصاوير است. كليدواژه‌ها

Wide-baseline image matching with significant viewpoint differences plays a fundamental role in many computer vision and photogrammetry applications, such as 3D reconstruction and image registration. One of the main problems of matching these images is the existence of a relatively large number of mismatches. Generally, a geometric consistency check process based on various geometrical constraints and robust estimator methods such as the epipolar line and RANSAC algorithm is used for mismatch elimination. However, conventional geometry filtering methods in wide-baseline images will fail if the number of outliers is very high. In addition, these methods have high computational complexity. In this paper, a novel mismatch elimination approach in wide-baseline images with significant viewpoint differences is presented. First, initial elliptical features are extracted using improved MSER (maximally stable extremal regions) detector in both images. Then, a distinctive DAISY descriptor is generated for each extracted feature. In the next step, the initial feature correspondence process is established using Euclidean distance between feature descriptors. Then, a novel mismatch elimination approach based on features shape matrix, named MESM (mismatch elimination based on shape matrix), is applied. Finally, the few remained blunders are removed by using a geometric constraint. The proposed image matching and mismatch elimination algorithms were successfully applied to match eight close-range image pairs with significant viewpoint differences, and the results demonstrate its capability to improve matching performance.