Innovative human "emotion / preference / satisfaction" estimation system realized by wearable devices

2023 Fiscal Year Final Research Report

• Project/Area Number: 21K11902
• Research Category: Grant-in-Aid for Scientific Research (C)
• Allocation Type: Multi-year Fund
• Section: 一般
• Review Section: Basic Section 60080:Database-related
• Research Institution: University of Toyama
• Principal Investigator: Horita Yuukou 富山大学, 学術研究部都市デザイン学系, 教授 (80209303)
• Project Period (FY): 2021-04-01 – 2024-03-31
• Keywords: ウェアラブルデバイス / 嗜好推定 / 心拍変動RRI / 時系列フォレスト分類 / NIRS / CNN / SVM / メッツ値

Outline of Final Research Achievements

We have developed a model that can accurately estimate human emotions, preferences, and satisfaction using a variety of biological and behavioral information obtained from wearable devices, etc. The model includes the estimation of preferences using NIRS oxygenated hemoglobin (Oxy-Hb) and heart rate interval (RRI) using the emotion-induced image database, the estimation of satisfaction when watching movie trailers using Time Estimation of satisfaction when watching movie trailers using the Time Series Forest Classifier, estimation of emotion from a person's walking motion using LightGBM with the skeletal model OpenPose, classification of cleaning motions using the Extra Trees Classifier, and estimation of METS values using Random Forest. We have obtained several research results for social implementation.

Free Research Field

メディア情報学

Academic Significance and Societal Importance of the Research Achievements

ウェアラブルデバイス等から得られる様々な生体情報や行動情報だけで、人の「感情・嗜好・満足度」が精度よく推定できれば、社会ソリューションに寄与する「働き方改革」や「健康経営」だけでなく、都市や観光地を訪れる旅行者やビジネス客の「（滞在）満足度」、さらには、AIやビッグデータを活用した社会の在り方を根本から変えるような革新的な都市設計に応用できると期待される。本研究では、幾つかの社会実装を想定した題材を取り上げ、ウェアラブルデバイス等から得られる様々な生体情報や行動情報だけで人の「感情・嗜好・満足度」を精度よく推定できるようなシステム開発に繋がる成果が得られた。