بررسي مقايسه‌اي معيارهاي متداول ارزيابي دقت و معيارهاي مغايرت طبقه‌بندي تصاوير سنجش از دور

A Comparative study of the traditional accuracy assessment and disagreement measures of the classification of remote sensing imagery

ارزيابي دقت نتايج حاصل از طبقه‌بندي تصاوير ماهواره‌اي، بسيار حائز اهميت است. تاكنون پارامترهاي متعددي براي بيان دقت طبقه‌بندي تصاوير، مورد استفاده قرار گرفته‌اند. دو نمونه از متداول‌ترين پارامترها، ضريب كاپا[1] و دقت كلي [2]هستند. بعضي از محققان به اين پارامترهاي متداول ايراداتي وارد كرده و پارامترهاي جديدي ارائه كرده و معتقدند اين پارامترها، معايب پارامترهاي متداول را ندارند. در اين تحقيق، رابطه دو مورد از اين پارامترهاي جديد ارزيابي دقت طبقه‌بندي با پارامترهاي متداول مورد بررسي قرار گرفته است. اين دو پارامتر مغايرت كمي[3] و مغايرت تخصيصي[4] نام گذاري شده‌اند كه ميزان عدم شباهت را گزارش مي‌كنند. به منظور بررسي رفتار اين دو پارامتر، روي 57 تصوير شامل سه دسته از تصاوير با قدرت تفكيك متوسط، قدرت تفكيك بالا و قدرت تفكيك خيلي بالا، طبقه‌بندي نظارت شده انجام شد. سپس ضريب كاپا و دقت كلي به عنوان پارامترهاي متداول، و مغايرت كمي و مغايرت تخصيصي به عنوان پارامترهاي جديد براي هر تصوير طبقه‌بندي‌شده، محاسبه شده و همبستگي مقادير به دست آمده با يكديگر بررسي شد. نتايج به دست آمده در اين تحقيق نشان مي‌دهند كه ميزان همبستگي بين اين دو دسته پارامتر، بالا ولي در جهت منفي است؛ به عبارت ديگر با افزايش مقادير يك دسته، مقادير دسته ديگر كاهش مي‌يابد. به اين ترتيب، پارامترهاي مغايرت، اطلاعات جديدي را درباره نتايج طبقه‌بندي به كاربر ارائه نمي‌كنند، تنها و در صورتي كه خطاي طبقه‌بندي خواسته شود، مي‌توان از پارامترهاي مغايرت نيز دركنار آن‌ها استفاده نمود.

Evaluation of the image classification results is very important in the remote sensing projects. So far, many indices have been presented to assess the accuracy of image classification, though Kappa coefficient and Overall accuracy are the most famous ones. Some researchers have criticized these two parameters, and have presented new parameters for evaluation of the classification results. In this paper, the relation between two new accuracy assessment parameters (presented by Pontius & Millones) and traditional accuracy assessment parameters (Overall accuracy and kappa coefficient) is studied. These two new parameters are called “Quantity disagreement” and “Allocation disagreement” which report disagreement between ground truth and classification data. In order to apply the comparative study on the traditional and new disagreement measures, supervised maximum likelihood classification was applied on 57 satellite images with different spatial resolutions. Then, Kappa and Overall accuracy as traditional accuracy parameters and Quantity disagreement and Allocation disagreement as new measures were computed for each classified image and then the correlation coefficients of the both measures were calculated. The results show a high correlation between new parameters and traditional ones in negative direction irrespective the spatial resolution. In this way, the disagreement do not provide new information about the classification results to the user, and only if there is any request for classification error, the new disagreement parameters can be used along with the traditional ones.