طراحي الگوريتم آميختگي بر مبناي مدل يادگيري عميق PointNet در ابر نقاط سه‌بعدي و داده‌هاي تصويري در خودروهاي خودران

با توجه به لزوم تشخيص زمان حقيقي اشياء و موانع در خودروهاي خودران و سيستمهاي كمك راننده‌ي پيشرفته، در اين مقاله با استفاده از آميختگي اطلاعات به‌دست‌آمده از تصاوير RGB دوربين‌هاي طيف مرئي و ابر نقاط حاصل از ليدار، اشياء موردنظر به‌صورت كاملاً مؤثر شناسايي، طبقه‌بندي و ردگيري مي‌شوند. در اين مقاله به‌منظور كاهش ميزان بار محاسباتي و افزايش سرعت شناسايي با حفظ صحت عملكرد، علاوه بر اجراي روال‌هاي متعارف، دو عملكرد كلي نيز به‌صورت توأمان در روال تشخيص اجرا مي‌شوند. در مرحله‌ي اول و در زمان استفاده از ابر نقاط، به‌جاي به‌كارگيري وكسل هاي حاصل از تقسيم‌بندي ابر نقاط، از تمامي ابر نقاط به‌عنوان ورودي استفاده مي‌شود كه در اين صورت زمان لازم براي اجراي محاسبات سه‌بعدي (نسبت به روش‌هاي پيشين) كاهش ميابد. در مرحله‌ي دوم نيز به‌جاي اجراي روال‌هاي جستجوي زمان‌بر در كل ابر نقاط ورودي، تمامي پيشنهادات اشياء ابتدا از شناساگر دوبعدي دريافت مي‌شوند و بر مبناي اين پيشنهادات، فقط در محل‌هاي با پتانسيل بالاي حضور اشياء، عمليات جستجو و تطبيق اجرا مي‌شود و بدين گونه در اين مرحله نيز زمان اجرا بهبود ميابد. در اين مقاله با استفاده از مدل PointNet روشي مطرح مي‌گردد كه قادر است بدون نياز به انجام پيش‌پردازش‌هاي معمول در حوزه‌ي ابر نقاط (وكسل بندي ابر نقاط و يا تصوير كردن كل ابر نقاط در صفحه‌ي XY) با استفاده از توانمندي‌هاي مدل‌هاي يادگيري عميق در ابر نقاط سه‌بعدي، اشياء را شناسايي و طبقه‌بندي نمايد. اين مشخصه كه باعث افزايش ميزان FPS و كاهش حجم محاسبات مي‌گردد، در كاربردهاي عملي كاملاً مفيد است. به‌منظور ارزيابي الگوريتم از معيار دقت متوسط (AP) استفاده مي‌گردد. (اين معيار در مقايسه‌ي روش‌هاي مختلف تشخيص اشياء از ابر نقاط به كار مي‌رود.) كارايي الگوريتم مطرح‌شده نسبت به روش‌هاي مقايسه شده در بخش ارزيابي نشان داده‌شده است.