رنگ‌ آميزي خودكار تصاوير خاكستري به‌كمك شبكه‌هاي زاياي رقابتي

Automatic Colorization of Grayscale Images Using Generative Adversarial Networks

رنگ ‌آميزي تصاوير خاكستري يكي از مسائل مهم در حوزه بازيابي اطلاعات تصويري محسوب مي​شود. البته ميزان موفقيت روش‌هاي خودكار در اين حوزه در برابر عملكرد گرافيست‌ها و ويراستاران تصوير ناچيز بوده است. از ‌بين‌ رفتن اطلاعات رنگ‌ها و دست‌يابي به قسمت محدودي از اطلاعات اوليه تصاوير، اين موضوع را به چالشي منحصربه‌فرد تبديل مي​كند؛ چون هدف اصلي در رنگ‌آميزي تصاوير خاكستري، پيدا‌كردن رنگ اصلي و واقعي تصوير نيست؛ بلكه تلاش بر اين است تا نوعي رنگ‌آميزي كه از نظر انسان‌ها «واقعي» به نظر مي‌رسد، براي تصوير ارائه شود. در اين مقاله سامانه‌اي براي رنگ‌آميزي تصاوير خاكستري اشخاص و انسان‌ها ارائه شده است. در اين سامانه كه نياز به پيش‌پردازش تصاوير يا مؤلفه‌هاي پردازشي مستقل ندارد، از يك شبكه عصبي عميق براي رنگ‌آميزي تصاوير افراد و از شبكه‌اي ديگر براي بررسي بازخورد عملكرد رنگ‌آميزي استفاده مي​شود. نتايج حاصل از پژوهش، عملكرد كيفي بهتري را در رنگ‌آميزي تصاوير افراد در مقايسه با روش‌هاي مرسوم در اين عرصه نشان مي​دهد كه در مدت‌زمان آموزش، به‌مراتب كمتري به‌دست آمده است. كاربرد اين سامانه نه‌تنها در رنگ‌آميزي تصاوير افراد، بلكه در رنگ‌آميزي پُرتره‌هاي غير انساني و آثار هنري نيز كاربرد دارد و به‌كمك آن مي​توان رنگ‌آميزي مناسبي براي اثرهايي كه ممكن است، ساعت‌ها زمان ببرند، در كسري از ثانيه انجام داد.

Automatic colorization of gray scale images poses a unique challenge in Information Retrieval. The goal of this field is to colorize images which have lost some color channels (such as the RGB channels or the AB channels in the LAB color space) while only having the brightness channel available, which is usually the case in a vast array of old photos and portraits. Having the ability to colorize such images would give us a multitude of possibilities ranging from colorizing old and historic images to providing alternate colorizations for real images or artistic creations. Be that as it may, the progress in this field is trivial compared to what the professionals are able to do using special-purpose applications such as Photoshop or GIMP. On the other hand, losing the information stored in color channels and having only access to the primary brightness channel, makes this problem a unique challenge, since the main aim of automatic colorization is not to find the image’s “real” color but to colorize it in such a way that makes it “seem real” as the original color information is lost forever and the only way to colorize it, is to provide a somewhat “proper” estimation. In this research we propose a model to automatically colorize gray human portraits. We start by reviewing the methods used for the task of image colorization and provide an explanation as to why most of them collapse to a situation known as “Averaging”. To counteract this effect, we design our end-to-end model with two separate deep neural networks forming a Generative Adversarial Network (GAN), one to colorize the images and the other to evaluate the colorization of the first network and guide it towards the proper distribution. The results show improvements over other proposed methods in this field especially in the case of colorizing human portraits along faster train times. This method not only works on real human portraits but also on non-human and artistic portraits that can be leveraged to colorize hand-drawn images some of which may take minutes up to hours by hand.