تشخيص تعاملات انسان و شيء بر مبناي ويژگي هاي استخراج شده از داده هاي عمق با استفاده از شبكه عصبي سيامي

تشخيص تعامل انسان و شيء (HOI) مجموعه‌اي از سه تايي‌‌هاي (انسان، شيء، تعامل) از يك تصوير را استخراج مي‌‌كند. اين حوزه، يكي از زمينه‌‌هاي تحقيقاتي رو به رشد در بينايي كامپيوتر است. علاوه بر اطلاعات دو بعدي مانند ظاهر انسان و اشياء و موقعيت مكاني آن‌‌ها، وضعيت سه بعدي به خصوص در پيكربندي بدن انسان مي‌‌تواند نقش مهمي در يادگيري تعاملات ميان انسان و شيء داشته باشد. در اين مقاله، مشخصه‌‌هاي بصري انسان‌، زمينه‌ و شيء كه به ترتيب از وضعيت‌‌هاي انساني و پيكربندي‌هاي فاصله‌‌اي انسان و شيء به‌‌ دست مي‌‌آيد، استخراج مي‌شود. علاوه بر اين، يك شبكه سيامي براي يادگيري ويژگي‌هاي ساختاري جفت‌هاي انسان- شيء استفاده مي‌شود. شبكه سيامي بهبود يافته براي استخراج ويژگي‌هاي مشابه هدف، از ابرهاي نقطه پيشنهاد مي‌‌شود. شبكه سيامي بهبود يافته براي يافتن شباهت دو ورودي و استخراج ويژگي‌هاي مربوط به انسان و شيء پيشنهاد شده است اين شبكه، توانايي تمايز را براي مرحله دوم كه مرحله تشخيص تعاملات است، بهبود مي‌بخشد. ما از يك بازنمايي داده بر اساس نگاشت سه بعد به دو بعد به صورت چند ديدي استفاده مي‌كنيم، سپس از شبكه سيامي براي استخراج ويژگي‌هاي مربوط به اين نگاشت به همراه جعبه شيء در يك توصيف‌گر محلي 32 بعدي استفاده مي‌كنيم. نتايج آزمايش‌ها روي مجموعه داده HICO-DET نشان مي‌دهد كه روش ما توانسته است نتيجه تعاملات را بهبود بخشد و معيار mAP را نسبت به روش DJ-RN به ميزان 2/78 افزايش دهد