ارزيابي خودكار تمرينات توانبخشي حركتي بر پايۀ شبكه عصبي چگالي تركيبي عميق

Automatic Evaluation of Motor Rehabilitation Exercises Based on Deep Mixture Density Neural Network

طراحي سيستم هوشمند ارزيابي تمرين‌هاي حركتي، زمان و هزينه را در درمان‌هاي توانبخشي كاهش مي‌دهد. از جمله روش‌هاي موجود در اين زمينه مدل‌هاي احتمالاتي هستند كه قابليت تعميم‌پذيري به حركات جديد در آن‌ها كم است. روش‌هاي ديگر از ساختارهاي عميق استفاده مي‌كنند كه درنظر‌نگرفتن عدم‌قطعيت ذاتي موجود در داده‌هاي حركتي از چالش‌هاي آنهاست. در اين مقاله يك شبكه چگالي تركيبي عميق معرفي شده‌است كه پردازش مدل احتمالاتي را با ساختارهاي عميق به صورت همزمان امكان‌‌پذير مي‌سازد. در اين شبكه از لايه پيچشي چند شاخه كه ويژگي‌هاي عميق داده‌هاي حركت را استخراج مي‌كند و از لايه بازگشتي كه وابستگي زماني داده‌هاي حركت را ياد مي‌گيرد، براي تخمين پارامترهاي مدل تركيبي گوسي استفاده شده است. اين مدل در لايۀ انتهايي جهت مديريت عدم قطعيت موجود در داده‌ها قرار دارد. مجموع وزن‌دار ميانگين اجزاي مدل تركيبي گوسي به عنوان امتياز تمرين حركتي درنظر گرفته مي‌شود. داده‌هاي ورودي، سري‌هاي زماني مربوط به مكان و زواياي مفاصل، از مجموعه دادۀ KIMORE هستند. امتياز مرجع براي آموزش شبكه، امتياز باليني هر حركت است. محاسبه خطا و همبستگي بين امتياز پيش‌بيني‌شده و مرجع، برتري اين شبكه را نسبت به ساير ساختارها نشان مي‌دهد. چرا كه تركيب مدل تركيبي گوسي با ساختارهاي عميق، علاوه بر مديريت عدم‌قطعيت‌ها كه بر اعتبار خروجي مي‌افزايد، قابليت تعميم‌پذيري به حركات جديد را افزايش مي‌دهد.

Designing an intelligent assessment system for physical exercises reduces time and cost in rehabilitation therapies. Probabilistic models that have little potential for generalizability to new movements are one category of the existing methods in this field. Other methods use deep frameworks, one of their challenges is to ignore the inherent uncertainties in motion data. In this paper, we propose a deep mixture density neural network that makes concurrent processing of probabilistic model and deep framework, feasible. At the first layer, there is a multi-branches convolutional neural network for learning the deep features of motion data. After that, there is a recurrent neural network for learning the temporal dependence of motion data. These two layers estimate the parameters of the Gaussian mixture model in the last layer. This model is proposed to deal with randomness and uncertainties in data. Finally, the weighted sum of the Gaussian mixture model components averages is considered as the performance score. The input data, the time series related to the location and angles of the joints, are from the KIMORE dataset. For each movement, there is a clinical score used as the reference score for neural network training in this dataset. The results of calculating the error and Spearman correlation coefficient between the predicted score and the reference score show that this network outperforms other structures. This is because combining the Gaussian mixed model with a deep neural network not only handles uncertainties to increase the validity of the output but also increases generalization to new movements.