Estimating changes in emotions and physical condition by non-contact information during utterance for the purpose of communication support

2021 Fiscal Year Final Research Report

• Project/Area Number: 19K12909
• Research Category: Grant-in-Aid for Scientific Research (C)
• Allocation Type: Multi-year Fund
• Section: 一般
• Review Section: Basic Section 90150:Medical assistive technology-related
• Research Institution: Akita University
• Principal Investigator: Kageyama Yoichi 秋田大学, 理工学研究科, 教授 (40292362)
• Project Period (FY): 2019-04-01 – 2022-03-31
• Keywords: 非接触情報 / 心情変化 / 体調変化 / コミュニケーション支援 / 口唇の動き / 顔情報 / 熱赤外画像 / 機械学習

Outline of Final Research Achievements

In order to estimate changes in emotions and physical condition by non-contact information for the purpose of communication support, a speech segment extraction method, a speaker identification method, and a speech content estimation were proposed based on speech image data. A facial expression recognition model with an additional learning function was also constructed and its usefulness was evaluated. To understand the difference in facial expressions and the difference between intentional facial expressions and natural facial expressions, changes in facial temperature were analyzed. Furthermore, analysis of data on elderly people playing racing games revealed that the relative saturation ratio tends to increase when the emotion of "joy" was aroused. Finally, We developed a blink detection method and analyzed characteristic facial and body movements associated with emotional arousal using skeletal coordinate data.

Free Research Field

ヒューマンセンシング，リモートセンシング，知覚情報処理，感性情報学，機械学習，医療福祉工学関連

Academic Significance and Societal Importance of the Research Achievements

新型コロナウイルスの影響を受け，私たちのコミュニケーション手段は大きく変化しオンラインで会議などを行う機会が増加した。また，情報の共有は容易になったものの，共感の共有は必ずしも容易ではない。本研究では，非接触情報を用いて心情・体調変化の推定を行い，コミュニケーションの支援を行うことを目的としており，検討内容は今後の情報社会において不可欠な技術・知見である。また，社会実装に向けた知見も多く得られている。さらに，高齢者を対象とした検討を行い，被験者の特徴を考慮したアルゴリズムの開発を行っている。このことは，一人ひとりの多様な幸せ（well-being）を実現する社会の構築に寄与するものである。