Estimating changes in emotions and physical condition by non-contact information during utterance for the purpose of communication support
| Project/Area Number |
19K12909
|
|---|
| Research Category |
Grant-in-Aid for Scientific Research (C)
|
| Allocation Type | Multi-year Fund |
|---|
| Section | 一般 |
|---|
| Review Section |
Basic Section 90150:Medical assistive technology-related
|
|---|
| Research Institution | Akita University |
|---|
Principal Investigator |
|
|---|
| Project Period (FY) |
2019-04-01 – 2022-03-31
|
| Project Status |
Completed (Fiscal Year 2021)
|
| Budget Amount *help |
¥4,420,000 (Direct Cost: ¥3,400,000、Indirect Cost: ¥1,020,000)
Fiscal Year 2021: ¥910,000 (Direct Cost: ¥700,000、Indirect Cost: ¥210,000)
Fiscal Year 2020: ¥1,560,000 (Direct Cost: ¥1,200,000、Indirect Cost: ¥360,000)
Fiscal Year 2019: ¥1,950,000 (Direct Cost: ¥1,500,000、Indirect Cost: ¥450,000)
|
|---|
| Keywords | 非接触情報 / 心情変化 / 体調変化 / コミュニケーション支援 / 口唇の動き / 顔情報 / 熱赤外画像 / 機械学習 / 表情 / 口唇の動き特徴 / 自然表情 / 心情・体調変化 / センシング / 画像処理 |
|---|
| Outline of Research at the Start |
本研究では，コミュニケーション支援を目的とし，発話時に取得される口唇の動き・目の動き・顔温度・顔の各部位情報，並びに体動や脈拍などの非接触情報を併用して，対象者の内部状態である心情・体調変化を機械学習などの活用により認識する。本研究の成果は，発話者の特性を考慮して“喜びや退屈”などの心情変化と“定常状態やストレスなどで体調が悪い”などの体調変化を推定できるため，高齢者を対象とした見守り支援システムや感情理解を苦手とする人々へのコミュニケーション支援システムに活用することが可能である。
|
| Outline of Final Research Achievements |
In order to estimate changes in emotions and physical condition by non-contact information for the purpose of communication support, a speech segment extraction method, a speaker identification method, and a speech content estimation were proposed based on speech image data. A facial expression recognition model with an additional learning function was also constructed and its usefulness was evaluated. To understand the difference in facial expressions and the difference between intentional facial expressions and natural facial expressions, changes in facial temperature were analyzed. Furthermore, analysis of data on elderly people playing racing games revealed that the relative saturation ratio tends to increase when the emotion of "joy" was aroused. Finally, We developed a blink detection method and analyzed characteristic facial and body movements associated with emotional arousal using skeletal coordinate data.
|
| Academic Significance and Societal Importance of the Research Achievements |
新型コロナウイルスの影響を受け，私たちのコミュニケーション手段は大きく変化しオンラインで会議などを行う機会が増加した。また，情報の共有は容易になったものの，共感の共有は必ずしも容易ではない。本研究では，非接触情報を用いて心情・体調変化の推定を行い，コミュニケーションの支援を行うことを目的としており，検討内容は今後の情報社会において不可欠な技術・知見である。また，社会実装に向けた知見も多く得られている。さらに，高齢者を対象とした検討を行い，被験者の特徴を考慮したアルゴリズムの開発を行っている。このことは，一人ひとりの多様な幸せ（well-being）を実現する社会の構築に寄与するものである。
|
Report
(4 results)
Research Products
(54 results)
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
[Presentation] 高齢者を対象とするeスポーツ実施前後の顔熱赤外画像を用いた皮膚温度変化解析2021
Author(s)
三浦 有沙子, 景山 陽一, 白井 光, 石沢 千佳子, 末廣 健二, 高橋 伸明, 佐竹 久美, 小林 拓也, 渡邉 文人, 佐藤 直子, 熊谷 直史
Organizer
第37回 ファジィ システム シンポジウム
Related Report
-
[Presentation] 高齢者を対象とするeスポーツ実施中における顔色情報の特徴解析2021
Author(s)
菊地 亮太, 景山 陽一, 白井 光, 石沢 千佳子, 末廣 健二, 高橋 伸明, 佐竹 久美, 小林 拓也, 渡邉 文人, 佐藤 直子, 熊谷 直史
Organizer
第37回 ファジィ システム シンポジウム
Related Report
-
-
-
-
-
-
-
-
-
[Presentation] 高齢者を対象とするeスポーツ実施時の顔熱赤外画像と感情の関連に関する検討2021
Author(s)
三浦 有沙子, 景山 陽一, 白井 光, 石沢 千佳子, 末廣 健二, 高橋 伸明, 佐竹 久美, 小林 拓也, 佐藤 雄介, 佐藤 直子, 熊谷 直史
Organizer
令和2年度日本知能情報ファジィ学会東北支部研究会
Related Report
-
[Presentation] 高齢者を対象とするeスポーツ実施時の感情・関心推定法に関する基礎検討2021
Author(s)
菊地 亮太, 景山 陽一, 白井 光, 石沢 千佳子, 末廣 健二, 高橋 伸明, 佐竹 久美, 小林 拓也, 佐藤 雄介, 佐藤 直子, 熊谷 直史
Organizer
令和2年度日本知能情報ファジィ学会東北支部研究会
Related Report
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
