بازشناسي زبان اشاره‌ با تركيب اطلاعات بدست آمده از سنسور كنترل‌كننده حركت و تصوير دست

سيستم هاي بازشناسي زبان اشاره كمك مي كنند تا افراد ناشنوا به رسانه هاي مختلف دسترسي داشته باشند. در اين مقاله، سنسور كنترل كننده حركت و تصوير دست براي بازشناسي زبان اشاره بكار گرفته شده‌اند. سنسور كنترل كننده حركت اطلاعات مربوط به مكان سه بُعدي مفاصل دست را فراهم مي كند. سري اول ويژگي ها از اطلاعاتي كه اين سنسور فراهم مي كند، استخراج مي شود. مواقعي كه دست عمود بر سنسور كنترل كننده حركت قرار نگرفته يا در حالت هايي كه دست مشت مي شود مكان دقيق مفاصل دست قابل شناسايي نيست. سري دوم ويژگي ها كه از تصوير دست استخراج مي شود كمك مي كنند تا اكثر حالت هاي دست دقيق تر بازشناسي شوند. سري دوم ويژگي ها شامل هيستوگرام گراديان هاي جهت دار و فاصله ي كانتور از مركز تصوير است. همچنين يك پايگاه داده ي متنوع از حالت هاي دست زبان اشاره ي آمريكايي ساخته شده است كه شامل 64 هزار نمونه است. در مرحله ي بازشناسي از طبقه بند جنگل تصادفي استفاده مي شود كه براي پايگاه داده هاي بزرگ انتخاب خوبي است. نتايج آزمايش ها نشان مي دهند كه روش پيشنهادي نسبت به روش هاي مشابه نتايج بهتري ارائه مي دهد.