eスポーツを活用した非接触情報による高齢者の心情種別推定と伝達システムの開発

• Project/Area Number: 22K12215
• Research Category: Grant-in-Aid for Scientific Research (C)
• Allocation Type: Multi-year Fund
• Section: 一般
• Review Section: Basic Section 61060:Kansei informatics-related
• Research Institution: Akita University
• Principal Investigator: 景山 陽一 秋田大学, 理工学研究科, 教授 (40292362)
• Project Period (FY): 2022-04-01 – 2025-03-31
• Project Status: Granted (Fiscal Year 2022)
• Budget Amount: ¥4,160,000 (Direct Cost: ¥3,200,000、Indirect Cost: ¥960,000); Fiscal Year 2024: ¥780,000 (Direct Cost: ¥600,000、Indirect Cost: ¥180,000); Fiscal Year 2023: ¥780,000 (Direct Cost: ¥600,000、Indirect Cost: ¥180,000); Fiscal Year 2022: ¥2,600,000 (Direct Cost: ¥2,000,000、Indirect Cost: ¥600,000)
• Keywords: eスポーツ / 非接触情報 / 高齢者 / 心情 / コミュニケーション支援 / 機械学習 / 画像処理

Outline of Research at the Start

本研究では，eスポーツ実施時の高齢者を対象とし，口唇の動き・視線や瞬き・顔温度・顔の各部位情報，並びに体動などの非接触情報を併用して，機械学習などによる心情（喜び・興奮，驚き，焦り・戸惑いなど）を推定し伝達するシステムを構築する。本研究の成果により複雑な心情から構成される表情や，相手や状況によって表出する心情の違いを理解できることが可能になるため，高齢者を対象とした高度な見守り支援システムなどへの活用が可能である。

Outline of Annual Research Achievements

本研究では，eスポーツ実施時の高齢者を対象とし，顔の各部位情報や顔温度情報，並びに体動などの非接触情報を併用して，機械学習などによる心情の種別と程度を推定するため，以下の内容を実施した。なお，新型コロナウイルス感染症防止対策を十分に施してデータ取得や検討を行った。
（1）60代以上の男女16名を対象として，eスポーツ実施時のデータ取得を行った。（2）eスポーツ実施中における被験者の頬領域における特徴量を算出し，被験者の感情発生との間に関連性があるのかどうかの解析を行った。（3）eスポーツ実施中における被験者の頬領域の特徴変化に着目し，機械学習を用いて感情が発生した区間を推定する手法を開発した。また，頬領域画像内からほうれい線による陰影領域を取り除くことは，感情発生区間推定の精度向上に寄与することを明らかにした。（4）高齢者を対象とした顔熱画像における情動喚起と温度変化の関連に着目し，eスポーツ実施時における感情と温度の変化について検討を加えた。また，被験者が回答したアンケートを基に，eスポーツ経験による心理状態の変化について調査を行った。さらに，皮膚温度変化と情動喚起との関連を解析するとともに， LSTMを用いて情動喚起区間を推定する手法を提案した。（5）表情特徴空間の更新条件に関する検討，および感情カテゴリーの帰属度に基づいた警戒パラメータの決定法を提案した。提案手法は，3表情間のばらつきが小さい，かつ各表情内のばらつきが大きい被験者に対して，特に有用であることを明らかにした。(6) CNN-LSTMを用いた瞬き検出について検討を行い，精度向上を図った。

Current Status of Research Progress

2: Research has progressed on the whole more than it was originally planned.

Reason

新型コロナウイルス感染症防止対策を十分に施し，2022年9月に60代以上の男女16名程度を対象とし， eスポーツ実施時のデータを取得した。
また，対象者の特性を考慮して心情変化を認識可能な特徴量を選定した。具体的には，可視・熱赤外情報などの各種非接触情報の中から有効な特徴量を選定し，得られた情報を併用して検討を加えた。また，被験者の時系列データを用いて機械学習による処理を開発した。さらに，対象者の心情に従って表出する表情と，心情に反して生じる表情（苦笑いなど）の違いは，どのような特徴として表出されるのかについても検討を進めている。
対戦相手の違いによる結果について検討するため，人とコンピュータが相手の条件下でそれぞれ取得したデータを用い，心情が表出する程度の違いは，どのような特徴量として表出されるのかについても解析を進めている。

Strategy for Future Research Activity

2023年度も2022年度同様，60代以上の男女を対象としてデータ取得を行う。
また，2022年度の検討結果を踏まえて，(i)被験者の自己申告による（意識した）結果，(ii)生体情報が示す無意識下での結果をそれぞれ解とし，深層学習を用いて推定法を開発する。
さらに，対戦相手の違いによる結果について検討するため，人とコンピュータが相手の条件下でそれぞれ取得したデータを用い，心情が表出する程度の違いは，どのような特徴量として表出されるのかを明らかにし，処理法を開発する。

Research Products

• [Journal Article] Temperature Analysis of Face Regions Based on Degree of Emotion of Joy (2022)
  • Author(s): M. Yamada, Y. Kageyama
  • Journal Title: International Journal of Innovative Computing, Information and Control Volume: 18 Issue: 05 Pages: 1383
  • DOI: 10.24507/ijicic.18.05.1383
  • ISSN: 1349-4198
  • Peer Reviewed / Open Access
• [Presentation] 画像および音声情報を用いた会話時における発話者判別手法に関する検討 (2023)
  • Author(s): 佐々木 嶺, 景山 陽一, 本田 悠将, 廣瀬 聡
  • Organizer: 令和4年度日本知能情報ファジィ学会東北支部研究会
• [Presentation] 鼻部および頬部の皮膚温度変化を用いたLSTMモデルによる情動喚起区間推定法 (2023)
  • Author(s): 田邉 里和, 鄒 敏, 景山 陽一
  • Organizer: 令和4年度日本知能情報ファジィ学会東北支部研究会
• [Presentation] 熱赤外カメラを用いた退屈状態時における顔面皮膚温度変化の解析 (2023)
  • Author(s): 田中 太郎, 景山 陽一, 石沢 千佳子
  • Organizer: 情報処理学会第85回全国大会
• [Presentation] 機械学習を用いたeスポーツ実施中の高齢者における感情発生区間推定に関する検討 (2023)
  • Author(s): 菊地 亮太, 景山 陽一, 白井 光, 石沢 千佳子, 末廣 健二, 高橋 伸明, 斉藤 洋樹, 小林 拓也, 渡邉 文人, 佐竹 久美, 佐藤 直子
  • Organizer: 情報処理学会第85回全国大会
• [Presentation] 高齢者を対象とするeスポーツ実施時の皮膚温度変化を用いた感情喚起推定 (2023)
  • Author(s): 三浦 有沙子, 景山 陽一, 白井 光, 石沢 千佳子, 末廣 健二, 高橋 伸明, 斉藤 洋樹, 小林 拓也, 渡邉 文人, 佐竹 久美, 佐藤 直子
  • Organizer: 情報処理学会第85回全国大会
• [Presentation] 雑音に対する頑健性の評価を目的とした日本語の発話内容推定に関する検討 (2023)
  • Author(s): 本田 悠将, 中村 悦郎, 景山 陽一, 廣瀬 聡
  • Organizer: 情報処理学会第85回全国大会
• [Presentation] 3表情を対象とした表情認識モデルにおける警戒パラメータの決定法に関する検討 (2023)
  • Author(s): 高松 未佳, 石井 雅樹, 景山 陽一
  • Organizer: 情報処理学会第85回全国大会
• [Presentation] Analyzing Facial Skin Temperature in the Elderly While Playing eSports (2022)
  • Author(s): A. Miura, Y. Kageyama, H. Shirai, C. Ishizawa, K. Suehiro, N. Takahashi, H. Saito, T. Kobayashi, F. Watanabe, H. Satake, N. Sato
  • Organizer: 2022 Joint 12th International Conference on Soft Computing and Intelligent Systems and 23rd International Symposium on Advanced Intelligent Systems (SCIS&ISIS2022)
  • Int'l Joint Research
• [Presentation] Basic Study on Estimating Emotional Arousal Intervals in the Elderly when Playing eSports (2022)
  • Author(s): R. Kikuchi, Y. Kageyama, H. Shirai, C. Ishizawa, K. Suehiro, N. Takahashi, H. Saito, T. Kobayashi, F. Watanabe, H. Satake, N. Sato
  • Organizer: 2022 Joint 12th International Conference on Soft Computing and Intelligent Systems and 23rd International Symposium on Advanced Intelligent Systems (SCIS&ISIS2022)
  • Int'l Joint Research
• [Presentation] 表情特徴空間の更新手法 (2022)
  • Author(s): 高松 未佳, 石井 雅樹, 景山 陽一
  • Organizer: 映像情報メディア学会 2022年冬季大会
• [Presentation] 高齢者を対象とするeスポーツ実施時の皮膚温度解析および感情喚起推定 (2022)
  • Author(s): 三浦 有沙子, 景山 陽一, 白井 光, 石沢 千佳子, 末廣 健二, 高橋 伸明, 斉藤 洋樹, 小林 拓也, 渡邊 文人, 佐竹 久美, 佐藤 直子
  • Organizer: 2022年度 情報処理学会東北支部研究会
• [Presentation] 画像および音声特徴量を用いた日本語の発話内容推定に関する基礎検討 (2022)
  • Author(s): 本田 悠将, 中村 悦郎, 景山 陽一, 廣瀬 聡
  • Organizer: 2022年度 情報処理学会東北支部研究会
• [Presentation] 適応学習機能を有する表情認識モデルの再学習法に関する検討 (2022)
  • Author(s): 高松 未佳, 石井 雅樹, 景山 陽一
  • Organizer: 2022年度 情報処理学会東北支部研究会
• [Presentation] 高齢者を対象とするeスポーツ実施時の顔色特徴解析ならびに感情発生区間推定手法の検討 (2022)
  • Author(s): 菊地 亮太, 景山 陽一, 白井 光, 石沢 千佳子, 末廣 健二, 高橋 伸明, 斉藤 洋樹, 小林 拓也, 渡邊 文人, 佐竹 久美, 佐藤 直子
  • Organizer: 2022年度 情報処理学会東北支部研究会
• [Presentation] 非集中(退屈)状態の推定を目的とした皮膚温度の変化に関する基礎検討(Ⅱ) (2022)
  • Author(s): 田中 太郎, 石沢 千佳子, 景山 陽一
  • Organizer: 2022年度電気関係学会東北支部連合大会
• [Presentation] 高齢者を対象とするeスポーツ実施時の瞬き検出手法の開発(Ⅱ) (2022)
  • Author(s): 梅北 空良, 景山 陽一, 末廣 健二, 高橋 伸明, 斉藤 洋樹, 小林 拓也, 渡邉 文人, 佐藤 直子, 佐竹 久美
  • Organizer: 2022年度電気関係学会東北支部連合大会
• [Presentation] 高齢者を対象とするeスポーツ実施時の情動喚起区間推定に関する検討 (2022)
  • Author(s): 菊地 亮太, 景山 陽一, 白井 光, 石沢 千佳子, 末廣 健二, 高橋 伸明, 斉藤 洋樹, 小林 拓也, 渡邉 文人, 佐藤 直子, 佐竹 久美
  • Organizer: 2022年度電気関係学会東北支部連合大会
• [Presentation] 表情認識モデルにおける学習回数に着目した追加学習処理に関する検討 (2022)
  • Author(s): 高松 未佳, 石井 雅樹, 景山 陽一
  • Organizer: 2022年度電気関係学会東北支部連合大会
• [Presentation] 高齢者を対象とするeスポーツ実施時の顔面皮膚温度経時変化解析 (2022)
  • Author(s): 三浦 有沙子, 景山 陽一, 白井 光, 石沢 千佳子, 末廣 健二, 高橋 伸明, 斉藤 洋樹, 小林 拓也, 渡邉 文人, 佐藤 直子, 佐竹 久美
  • Organizer: 2022年度電気関係学会東北支部連合大会
• [Presentation] 顔画像を用いた発話内容推定に関する基礎検討 (2022)
  • Author(s): 本田 悠将, 中村 悦郎, 景山 陽一, 廣瀬 聡
  • Organizer: 2022年度電気関係学会東北支部連合大会
• [Remarks] 景山・石沢研究室
  • URL: https://adeos6.ie.akita-u.ac.jp/