روشي خودكار به منظور كاليبراسيون نسبي و زماني دوربين هاي غيرحرف هاي با هدف توليد ويدئوهاي سه بعدي

A method for automatic temporal and relative calibration of the amateur cameras to produce 3D videos

در اين مقاله راهكاري خودكار به منظور توليد ويدئوهاي سه بعدي از طريق كنارهم قراردادن دو دوربين غيرحرفه اي پيشنهاد شده است. عدم امكان تامين هم زماني دوربي نها در شروع فيلم برداري، نرخ نامشابه نمونه برداري فريم ها، معلوم نبودن پارامترهاي كاليبراسيون داخلي و همچنين محدوديت هاي مربوط به تنظيم سخ تافزاري ارتباط نسبي دوربي نها، چالش هاي اين راهكار قلمداد مي شوند. در راهكار پيشنهادي، ابتدا هم زماني ويدئوها از طريق تناظريابي شاخص هاي زماني تامين شده و در ادامه مقاطع زماني توام با سكون در طول ويدئوها شناسايي مي شوند. در ادامه، مجموعه اي از نقاط متناظر در دو ويدئو به كمك اجراي تناظريابي خودكار شناسايي شده و در روندي اصلاحي مورد پالايش قرار مي گيرند. نقاط متناظر پالايش شده در برآورد هم زمان پارامترهاي كاليبراسيون داخلي و نسبي دوربين هاي استريو به كار گرفته شده و در آخر، ويدئوهاي سه بعدي نرمال شده از طريق بازنمونه برداري مبتني بر هندس هي اپي پلار توليد مي گردند. اين روش در مورد چندين ويدئوي سه بعدي از چهار جنبه ي مختلف كمي و كيفي مورد ارزيابي قرار گرفته است. دقت هندسي مطلوب در توليد ويدئوهاي نرمال شده، هم زماني دقيق ويدئوهاي سه بعدي، تعميم پذيري مطلوب روش پيشنهادي در توليد ويدئوهاي سه بعدي در شرايط محيطي مختلف و رضايت تماشاگران ويدئوهاي سه بعدي از منظر درك بصري عمق، از ويژگ يهاي نتايج اين روش محسوب مي شوند.

In this paper, a novel method has been proposed to automatically produce 3D videos through amateur digital cameras that have been fixed with each other. Asynchrony of the videos (frames per second rates and start times), unavailability of the exact camera internal parameters, and the technical limitation of precise relative adjusting the stereo cameras could be known as the main challenges of producing 3D videos via the amateur cameras. In the proposed method, the videos acquired by the stereo camera are synchronized through the automatic matching between temporal indices. Then, the calm periods of videos (the times with zero relative velocity between camera and scenes) are detected to be used for selecting proper matched image frames. Proper matched frames are then applied for finding matched points via a geometrical constrained feature-based matching method. The matched points are used for self-calibration as well as relative parameters estimation of the stereo cameras. In the last step, epipolar resampling procedure has been used to generate normalized videos. Automatic and precise synchronization of the stereo videos as well as the proper generalization of the proposed approach in the different sample datasets has been seen in the evaluation processes. Spectator satisfaction in the depth perception of the 3D videos is another quality achievement of the proposed method.