تشخيص بصري گفتار با استفاده از تحليل مكان-زماني گراديان

استفاده از اطلاعات بينايي براي تشخيص گفتار، راه كاري مهم در عدم حضور اطلاعات صوتي است. در اين مقاله، روشي براي تشخيص گفتار به كمك اطلاعات بينايي با توصيف تغييرات مكاني-زماني ناحيه لب ارائه‌شده است. براي توصيف تغييرات از گراديان تصوير استفاده شد. در روش پيشنهادي، پس از تشخيص ناحيه لب و استخراج نقاط كليدي، گراديان در نواحي مربوط به نقاط كليدي به‌عنوان اطلاعات مكاني مورداستفاده قرار گرفت. براي توصيف نواحي كليدي لب در طول بيان يك عبارت، نمودار فراواني 3 بعدي گراديان­ها و تخمين مسير تغييرات نواحي كليدي در طول ويديو استفاده شدند. تمركز اصلي اين تحقيق، ارائه توصيفي مناسب از گفتار است. به همين منظور، از دسته‌بندهاي متفاوتي براي تشخيص گفتار به كمك ويژگي­هاي استخراج‌شده استفاده شد تا دسته­بند مناسب­تر مورد استفاده قرار گيرد. براي ارزيابي روش پيشنهادي از بانك داده MIRACL-VC1 استفاده شد و نتايج به دست آمده با روش‌هاي پيشين براي تشخيص گفتار مقايسه شدند. نتايج نشان داد روش پيشنهادي در حدود 11 تا 17 درصد بهبودي داشته است.