شناسايي حالت هاي عاطفي تصوّر شده ي ذهني با استفاده از هم جوشي نتايج سيگنال هاي فيزيولوژيكي چندگانه

Identification of Imagery Based Affective States using Decision Level Fusion of Multimodal Physiological Signals

در اين پژوهش هم جوشي نتايج سيگنال هاي فيزيولوژيكي چندگانه براي طراحي يك سيستم شناسايي حالت هاي عاطفي با استفاده از مجموعه ي داده MIT پيشنهاد شد. چهار نوع از سيگنال هاي فيزيولوژيكي، شامل فشار حجم خون (BVP)، نرخ تنفس (RSP)، هدايت پوست (SC) و سيگنال فعّاليّت عضلات صورت (fEMG) به عنوان سيگنال هاي عاطفي مورد استفاده قرارگرفتند. براي جمع آوري مجموعه ي داده بيان شده، محققان از روش تصوّر ذهني براي ايجاد حالت هاي عاطفي مورد نظر از يك نفر استفاده و به طور هم زمان سيگنال هاي فيزيولوژيكي متناظر را ثبت كرده اند. در اين مطالعه، بهترين ويژگي هاي هريك از سيگنال ها از بين ويژگي هاي زماني و فركانسي محاسبه شده، تعيين شد. بدين منظور، روش هاي انتخاب ويژگي ترتيبي شناور رو به جلو (SFFS) و RELIEF مورد ارزيابي قرار گرفتند. مجموعه ي ويژگي جديد تشكيل شده با تركيب ويژگي هاي انتخاب شده، سپس به سه زيرمجموعه تفكيك شد. هر زير مجموعه براي شناسايي حالت هاي عاطفي مورد نظر به يك واحد طبقه بندي اعمال شد. نتايج به دست آمده از زير سيستم ها با اعمال روش بيش ترين آرا تركيب شد. سه روش طبقه بندي شامل SVM، LDA و KNN براي طراحي سيستم شناسايي حالت هاي عاطفي ارزيابي شدند. نتايج به دست آمده حاكي از عملكرد قابل ملاحظه سيستم در شناسايي حالت هاي مورد نظر با دقّت و سرعت پاسخ-دهي قابل قبول است. با روش انتخاب ويژگي RELIEF به همراه طبقه بندي كننده SVM، دقّت كلي شناسايي 8/93 % به دست آمد كه بهتر از نتايج گزارش شده با پايگاه داده بيان شده تاكنون است.

In this study, we propose decision level fusion of multimodal physiological signals to design an affect identification system using the MIT database. Four types of physiological signals, including blood volume pressure (BVP), respiration rate (RSP), skin conductance and facial muscles activities (fEMG) were utilized as affective modalities. To collect the above-mentioned database, researchers used personalized imagery to elicit the desired affective states from a single subject and recorded the corresponding physiological signals simultaneously. In this study, the best subset of features for each signal was determined using previously calculated time and frequency domain features. To this end, sequential floating forward selection (SFFS) and RELIEF feature selection algorithms were evaluated. A new feature set, formed by concatenating the selected features, was partitioned into three subsets. Each subset was then fed into a classifier to identify the desired affective states. The majority voting method was applied to fuse the results obtained by the subsystems. Three types of classification methods, namely SVM, LDA and KNN were evaluated to design an affect identification system. The results showed remarkable performance from the system in identifying the desired scenarios with an acceptable accuracy and speed of response. Using the RELIEF feature selection method, along with SVM as a classifier, an overall recognition accuracy of 93.8% was obtained, which is better than the results reported with the use of the above-mentioned database so far.