ارائه يك روش تركيبي به منظور استخراج و رديابي عوارض متحرك در فريم تصاوير ويدئويي جلونگر مادون قرمز

Simultaneous detection and tracking of multiple moving objects in forward looking thermal IR image sequences

استخراج و رديابی عوارض در تصاوير ويدئويی به‌عنوان يك موضوع كليدی در مباحث بينايی كامپيوتری محسوب می‌گردد، و می‌تواند به‌عنوان چشم‌انداز كارهای سطوح پايين‌تر برای رسيدن به سطوح بالاتر استفاده گردد. در سال‌های اخير، روش‌های گوناگونی به منظور استخراج و تشخيص عوارض در فريم تصاوير مادون قرمز به‌خصوص در زمينه‌های پايش، نظارت و امنيت پديده‌ها پيشنهاد شده است. با اين وجود، استخراج و رديابی عوارض متحرك در فريم تصاوير ويدئويی مادون قرمز می‌تواند ناشی از تصوير نمودن فضای سه‌بعدی در فضای دوبعدی، نويز در تصاوير، حركت‌های پيچيده عوارض، عوارض غير صلب، پنهان بودن بخشی از عوارض، پيچيدگی اشكال عوارض، تغييرات روشنايی محيط و نياز به پردازش‌های آنی پيچيده گردد. از آنجائيكه روش‌های موجود در اين زمينه بسيار پيچيده و زمان‌بر می‌باشند، در اين تحقيق روشی نوين در زمينه رديابی عوارض متحرك به منظور افزايش قابليت‌اعتماد، سرعت و دقت در استخراج و رديابی عوارض متحرك از فريم تصاوير ويدئويی مادون قرمز ارائه شده است. به همين منظور ابتدا با استفاده از الگوريتم‌های تناظريابی عارضه‌مبنا حركت ايجاد شده توسط جابجايی سكو حذف می‌گردد. سپس با استفاده از الگوريتم تفاوت فريم‌های جمع‌شونده، عوارض متحرك استخراج و در نهايت با استفاده از الگوريتمی مبتنی بر قيود هندسی و راديومتريكی نظير مدل كينماتيك سرعت ثابت، تقاطع هيستوگرام‌ها، متوسط درجات خاكستری و سايز عوارض، عوارض استخراج شده فريم به فريم رديابی می‌شوند. به منظور ارزيابی روش ارائه شده، عوارض متحرك در مجموعه داده‌های دارای پيچيدگی‌های مختلف و با شرايط متفاوت استخراج و رديابی گرديد. همچنين توانايی روش ارائه شده توسط متريك‌های مختلفی نظير HR، FAR، MODP و MOTP ارزيابی گرديد. نتايج حاصل بيانگر توانايی روش ارائه شده به منظور استخراج و رديابی عوارض متحرك مختلف نظير عابر و خودرو می‌باشد.

Object detection and tracking in image sequences is a key topic in photogrammetry and computer vision and can be viewed as a lower level vision tasks to achieve higher level event understanding. Images from different kind of sensors generally have different pixel characteristics due to the phenomenological differences between the image formation process of the sensors. In recent years, some approaches have already been proposed to detect and recognize moving objects in thermal Infra-Red (IR) image sequences, especially in the field of monitoring, security and surveillance. Nevertheless, tracking of multiple moving objects in forward looking thermal IR image sequences can be complex due to loss of information caused by projection of the 3D world on a 2D image, noise in images, complex object motion, non-rigid or articulated nature of objects, partial and full object occlusions, complex object shapes, scene illumination changes, and simultaneous changing of the situation of objects and sensor. This paper presents a novel method that overcomes most of the shortcomings of the existing detection and tracking algorithms in forward looking thermal IR image sequences. In this context, the Speeded-Up Robust Features (SURF) detector, Nearest Neighbor (NN), and RANdom SAmple Consensus (RANSAC) have been used to eliminate motion induced by the motion of the platform. Next, the Accumulative Frame Difference (AFD) has been used to detect moving objects from the ego-motion compensated input sequences. Also, an outlier removal algorithm based on Mean Gray Area (MGA), compactness, and eccentricity has been applied to detect and remove non-moving objects induced by errors in alignment, parallax, and etc. Finally, a tracking algorithm based on a constant velocity motion model, and various cues for object correspondence has been applied to perform tracking moving objects using their motion histories. The potential of the proposed method was evaluated through comprehensive experimental tests conducted on a wide variety of datasets. We compare the performance of our detection and tracking setup against different evaluation metrics, namely Hit Rate (HR), False Alarm Rate (FAR), Multi Object Detection Precision (MODP), and Multi Object Tracking Precision (MOTP) for a subset of ten sequences from our datasets. Inspecting the results, the proposed method has the potential to track moving of different pedestrians and cars objects with different motion characteristics effectively and efficiently.