تشخيص كنش انسان در تصاوير RGBDمبتني بر دادههاي اسكلتي بدن با استفاده از شبكههاي كانولوشن

تشخيص كنش انسان در تصاوير RGB+Dيكي از موضوعات پر كاربرد و جديد در حوزه يادگيري و بينايي ماشين است كه داراي چالشهاي فراواني نيز مي باشد. روشهاي زيادي در اين حوزه وجود دارد كه در بين آنها روشهاي مبتني بر يادگيري عميق كارآيي مناسبتري دارند. در اين مقاله روشي مبتني بر شبكههاي عصبي كانولوشن ارائه شده است كه از تركيب همزمان ويژگيهاي دوبعدي و سه بعدي استفاده ميكند، در اين روش ابتدا ويژگي هايي از دنباله اسكلتي تصاوير استخراج شده، سپس هر دسته ويژگي به يك شبكه عصبي كانولوشن داده شده و در نهايت خروجي شبكهها با يكديگر تركيب ميشوند. روش پيشنهادي بر روي پايگاه داده NTU RGB+Dآزمايش شده است و دقت %86.4براي تشخيص كنش با پروتكل ارزيابي cross-viewبهدست آمده است.