بخش بندي معنايي نظارتي ضعيف با استفاده همزمان از اطلاعات سطح شي و سطح متن

Weakly supervised semantic segmentation using object level and context level information

در اين مقاله، روش جديدي براي بخش­ بندي معنايي تصاوير در حضور داده ­هاي آموزشي نظارتي ضعيف ارائه مي­ گردد. هدف اصلي در بخش­ بندي معنايي اختصاص برچسب به تمامي پيكسل­ هاي تصوير است. در داده­ هاي آموزشي نظارتي ضعيف، تنها برچسب­ هاي معنايي موجود در تصوير مشخص مي­گردد و مكان آن­ها در تصوير مشخص نمي­ گردد. نوآوري روش پيشنهادي، استفاده همزمان از اطلاعات سطح شي و سطح متن در تعيين برچسب­هاي معنايي در تصوير مي­ باشد. در روش پيشنهادي، نواحي تصاويري كه داراي مجموعه برچسب­ هاي يكساني مي­ باشند، با يكديگر تركيب مي­ گردند به گونه­ اي كه در تصاويري كه داراي برچسب­ هاي مشترك هستند، نحوه ظهور يكسان داشته و موقعيت مكاني آن­ها نسبت به ديگر برچسب­ هاي معنايي موجود در تصوير نيز يكسان باشد. همچنين براي بهينه كردن تابع هزينه­ ي پيشنهادي، يك الگوريتم تكرار شونده ارائه شده است كه در آن در ابتدا تمامي پيكسل ­هاي مجموعه تصاوير، به صورت اوليه برچسب گذاري مي ­گردد. سپس مدل ظهور هر برچسب معنايي و مدل متن آن با استفاده از ماشين بردار پشتيبان آموزش مي­ بيند. در قدم بعد، برچسب پيكسل­ ها به گونه ­اي به روزرساني مي­ گردد كه در مجموعه تصاويري كه داراي برچسب­ هاي يكساني مي­ باشند، اطلاعات سطح شي و سطح متن مشابه باشند. به روزرساني برچسب­ها تا زماني ادامه مي­ يابد كه در دو دور متوالي، برچسب­ پيكسل­ ها تغيير نيابد. براي ارزيابي كارايي روش پيشنهادي از مجموعه داده ­ي MSRC استفاده شده است. روش پيشنهادي بر روي مجموعه داده­ ي MSRC، دقت ميانگين نرخ شناسايي گروهي 72% را به دست آورده است كه در مقايسه با ديگر روش­هاي قابل مقايسه و موفق پيشين 1% افزايش دقت داشته است.

In this paper, a new approach to weakly supervised semantic segmentation is proposed. The main goal in semantic segmentation is to assign a semantic label to each pixel. In weakly supervised setting, each training image is only labeled by the classes they contain, not by their locations. The main contribution of this paper is to simultaneously incorporate the object level and context level information in assigning class label to each pixel of the image. To do this, regions in each image are grouped such that groups of regions in images with the same semantic label have the same appearance and context. To do this, an iterative move-making algorithm is proposed. At first, each pixel of the image is initially labeled and then model of appearance and context for each class label is learned. Then, semantic label of each pixel is updated such that the regions with the same sematic label have the same appearance and context in the set of images. In the next step, appearance and context models for each semantic class are updated. It is repeated until in the two consecutive epochs, labels of the pixels are not changed. To evaluate our proposed approach, it is applied on the MSRC dataset. The obtained results show that our approach outperforms comparable state-of-the-art approaches