شناسايي صحنه، مبتني بر همجوشي در دادگان جديد چندطيفي (مرئي-فروسرخ) و شبكه هاي پيچشي ژرف، با رويكرد يادگيري

Scene Recognition in New Multi-Spectral Dataset (RGB-IR) and Deep Convolutional Networks with Transfer Learning Approach

در دهه ­هاي اخير، تكنيك­هاي مختلفي در حوزه بينايي كامپيوتر، براي طبقه­ بندي و شناسايي صحنه­ ها در فضاهاي مختلف، بر روي تصاوير طيف مرئي ارائه شده است. در اين مقاله، ابتدا يك پايگاه داده تصويري چند طيفي، شامل زوج تصاوير طيف مرئي رنگي و فروسرخ ايجاد مي­شود. سپس با تجزيه تصاوير طيف مرئي و فروسرخ، به وسيله تبديل موجك و استفاده از يك روش وزن­ دهي مبتني بر آموزش شبكه ­هاي عصبي پيچشي ژرف، همجوشي تصاوير انجام مي­شود. همچنين اين رويكرد، با چندين روش همجوشي ديگر و با استفاده از معيارهاي ارزيابي كمي، مقايسه مي­شود. در نهايت، با استفاده از معماري­هاي مبتني بر شبكه ­هاي عصبي پيچشي ژرف آموزش ديده­، تصاوير صحنه­ هاي مختلف، طبقه­ بندي مي­شوند. براي آموزش اين شبكه­ ها بر روي مجموع تصاوير اين پايگاه داده كوچك، از رويكرد يادگيري انتقالي، استفاده مي­شود تا طبقه­ بندي صحنه، با كمترين هزينه محاسباتي انجام گيرد. نتايج تجربي نشان مي­دهند كه روش پيشنهادي، در طبقه­ بندي صحنه، كه به صورت همجوشي تصاوير چهاركاناله (RGB-IR) صورت گرفته است، كارآمد بوده و ضمن داشتن معيارهاي كمي همجوشي بالاتر، منجر به عملكرد بهتر، در مقايسه با ساير رويكردهاي همجوشي تصاوير چندطيفي و با دقت طبقه ­بندي 96.67% مي­شود.

In recent decades, various techniques in the field of computer vision have been proposed to classify and identify scenes in different spaces on visible spectrum images. Recently, improvements in various areas of machine vision using complementary features in visible and infrared images have been reported by researchers. This approach can also work for the subject of scene recognition. In this paper, we first create a multispectral image database, including pairs of color-visible and infrared spectrum images. Then, the images are fused by wavelet transform and using a weighting method based on training the deep convolutional neural networks. This approach is also compared with several other fusion methods using quantitative evaluation criteria. Finally, images of different scenes are classified using architectures based on deeply trained convolutional neural networks. Transfer learning approach is also used to classify the scene with the least computational cost. Experimental results show that the proposed method has been effective in scene classification, which is done by fusion of four-channel images (RGB-IR) with a classification accuracy of 96.67%. This method also shows better quantitative fusion criteria than other multispectral image fusion approaches.