تخمين حالت سه بعدي انسان از تك تصوير با استفاده از شبكه‌ي عصبي غيرخطي كانولوشني مبتني بر اطلاعات شكل

Three-Dimensional Human Pose Estimation from a Single Image Using Nonlinear Convolutional Neural Network based on Shape Information

تخمين حالت سه بعدي انسان يكي از مسائل پراهميت و پركاربرد در بينايي ماشين است. تخمين حالت انسان، از اسكلت دو بعدي و با استفاده از اطلاعات چندگانه آغاز و طي يك روند تكاملي، به تخمين اسكلت سه بعدي با بهره‌گيري از حداقل اطلاعات ورودي سوق يافته است. در اين مقاله، مسئله‌ي تخمين حالت سه بعدي انسان با استفاده از اطلاعات يك تصوير رنگي بررسي شده است. روش پيشنهادي جزء آن دسته از روش‌هايي محسوب مي‌شود كه ابتدا حالت دو بعدي را استخراج و سپس، با ارتقاء حالت دو بعدي تخميني به فضاي سه بعدي، حالت سه بعدي پيش‌بيني مي‌شود. به دليل آن‌كه در اين نوع روش‌ها، منشاء بيشتر خطاها ناشي از تخمين نادرست حالت دو بعدي است، در اين مقاله، با ارائه‌‌ي روشي براي تخمين دقيق‌تري از حالت دو بعدي، خطاي كمتري براي حالت سه بعدي به دست آمده است. روش پيشنهادي براي تخمين حالت دو بعدي، از يادگيري عميق و اطلاعات نقشه‌ي لبه بهره برده است. به عبارتي ديگر، در اين مقاله از ويژگي لبه كه يك ويژگي طراحي شده است، براي هدايت يادگيري شبكه‌ي عصبي عميق و يادگيري ويژگي‌ها در راستاي هدف تعيين شده، استفاده شده است. آزمايش‌هاي انجام شده نشان مي‌دهد كه روش پيشنهادي به خطاي كمتري در تخمين حالت دو بعدي و متعاقباً، به خطاي كمتري در پيش‌بيني حالت سه بعدي تصاوير پايگاه داده‌ي Human3.6M و HumanEva-I منجر شده است.

3D human pose estimation is one of the most significant tasks in computer vision with wide range of applications. The work for estimating human pose initialized from 2D skeletal estimation from multiple data and has proceeded toward 3D skeletal estimation from minimum input information. In this paper, 3D human pose estimation from a single RGB image is investigated. The proposed work is considered as the ones which firstly estimate 2D pose and then lift the estimated 2D configuration to 3D space. Since most of the errors in this attitude are originated by inaccurate 2D pose inference, we have proposed a method for predicting better 2D poses to obtain more accurate 3D poses. The proposed approach for estimating 2D pose has leveraged deep learning along with the information of the edge map. In other words, we have made use of edge features, which are hand-designed features, in order to guide the deep neural network in training and in learning the features in accordance with the defined objective. Experimental results have demonstrated less errors in 2D and consequently 3D pose estimation in Human3.6M and HumanEva-I benchmarks.