2022 Fiscal Year Research-status Report
eスポーツを活用した非接触情報による高齢者の心情種別推定と伝達システムの開発
| Project/Area Number |
22K12215
|
|---|
| Research Institution | Akita University |
|---|
Principal Investigator |
景山 陽一 秋田大学, 理工学研究科, 教授 (40292362)
|
|---|
| Project Period (FY) |
2022-04-01 – 2025-03-31
|
| Keywords | eスポーツ / 非接触情報 / 高齢者 / 心情 / コミュニケーション支援 / 機械学習 / 画像処理 |
|---|
| Outline of Annual Research Achievements |
本研究では，eスポーツ実施時の高齢者を対象とし，顔の各部位情報や顔温度情報，並びに体動などの非接触情報を併用して，機械学習などによる心情の種別と程度を推定するため，以下の内容を実施した。なお，新型コロナウイルス感染症防止対策を十分に施してデータ取得や検討を行った。
（1）60代以上の男女16名を対象として，eスポーツ実施時のデータ取得を行った。（2）eスポーツ実施中における被験者の頬領域における特徴量を算出し，被験者の感情発生との間に関連性があるのかどうかの解析を行った。（3）eスポーツ実施中における被験者の頬領域の特徴変化に着目し，機械学習を用いて感情が発生した区間を推定する手法を開発した。また，頬領域画像内からほうれい線による陰影領域を取り除くことは，感情発生区間推定の精度向上に寄与することを明らかにした。（4）高齢者を対象とした顔熱画像における情動喚起と温度変化の関連に着目し，eスポーツ実施時における感情と温度の変化について検討を加えた。また，被験者が回答したアンケートを基に，eスポーツ経験による心理状態の変化について調査を行った。さらに，皮膚温度変化と情動喚起との関連を解析するとともに， LSTMを用いて情動喚起区間を推定する手法を提案した。（5）表情特徴空間の更新条件に関する検討，および感情カテゴリーの帰属度に基づいた警戒パラメータの決定法を提案した。提案手法は，3表情間のばらつきが小さい，かつ各表情内のばらつきが大きい被験者に対して，特に有用であることを明らかにした。(6) CNN-LSTMを用いた瞬き検出について検討を行い，精度向上を図った。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
新型コロナウイルス感染症防止対策を十分に施し，2022年9月に60代以上の男女16名程度を対象とし， eスポーツ実施時のデータを取得した。
また，対象者の特性を考慮して心情変化を認識可能な特徴量を選定した。具体的には，可視・熱赤外情報などの各種非接触情報の中から有効な特徴量を選定し，得られた情報を併用して検討を加えた。また，被験者の時系列データを用いて機械学習による処理を開発した。さらに，対象者の心情に従って表出する表情と，心情に反して生じる表情（苦笑いなど）の違いは，どのような特徴として表出されるのかについても検討を進めている。
対戦相手の違いによる結果について検討するため，人とコンピュータが相手の条件下でそれぞれ取得したデータを用い，心情が表出する程度の違いは，どのような特徴量として表出されるのかについても解析を進めている。
|
| Strategy for Future Research Activity |
2023年度も2022年度同様，60代以上の男女を対象としてデータ取得を行う。
また，2022年度の検討結果を踏まえて，(i)被験者の自己申告による（意識した）結果，(ii)生体情報が示す無意識下での結果をそれぞれ解とし，深層学習を用いて推定法を開発する。
さらに，対戦相手の違いによる結果について検討するため，人とコンピュータが相手の条件下でそれぞれ取得したデータを用い，心情が表出する程度の違いは，どのような特徴量として表出されるのかを明らかにし，処理法を開発する。
|
-
-
-
-
-
[Presentation] 機械学習を用いたeスポーツ実施中の高齢者における感情発生区間推定に関する検討2023
Author(s)
菊地 亮太, 景山 陽一, 白井 光, 石沢 千佳子, 末廣 健二, 高橋 伸明, 斉藤 洋樹, 小林 拓也, 渡邉 文人, 佐竹 久美, 佐藤 直子
Organizer
情報処理学会第85回全国大会
-
[Presentation] 高齢者を対象とするeスポーツ実施時の皮膚温度変化を用いた感情喚起推定2023
Author(s)
三浦 有沙子, 景山 陽一, 白井 光, 石沢 千佳子, 末廣 健二, 高橋 伸明, 斉藤 洋樹, 小林 拓也, 渡邉 文人, 佐竹 久美, 佐藤 直子
Organizer
情報処理学会第85回全国大会
-
-
-
[Presentation] Analyzing Facial Skin Temperature in the Elderly While Playing eSports2022
Author(s)
A. Miura, Y. Kageyama, H. Shirai, C. Ishizawa, K. Suehiro, N. Takahashi, H. Saito, T. Kobayashi, F. Watanabe, H. Satake, N. Sato
Organizer
2022 Joint 12th International Conference on Soft Computing and Intelligent Systems and 23rd International Symposium on Advanced Intelligent Systems (SCIS&ISIS2022)
Int'l Joint Research
-
[Presentation] Basic Study on Estimating Emotional Arousal Intervals in the Elderly when Playing eSports2022
Author(s)
R. Kikuchi, Y. Kageyama, H. Shirai, C. Ishizawa, K. Suehiro, N. Takahashi, H. Saito, T. Kobayashi, F. Watanabe, H. Satake, N. Sato
Organizer
2022 Joint 12th International Conference on Soft Computing and Intelligent Systems and 23rd International Symposium on Advanced Intelligent Systems (SCIS&ISIS2022)
Int'l Joint Research
-
-
[Presentation] 高齢者を対象とするeスポーツ実施時の皮膚温度解析および感情喚起推定2022
Author(s)
三浦 有沙子, 景山 陽一, 白井 光, 石沢 千佳子, 末廣 健二, 高橋 伸明, 斉藤 洋樹, 小林 拓也, 渡邊 文人, 佐竹 久美, 佐藤 直子
Organizer
2022年度 情報処理学会東北支部研究会
-
-
-
[Presentation] 高齢者を対象とするeスポーツ実施時の顔色特徴解析ならびに感情発生区間推定手法の検討2022
Author(s)
菊地 亮太, 景山 陽一, 白井 光, 石沢 千佳子, 末廣 健二, 高橋 伸明, 斉藤 洋樹, 小林 拓也, 渡邊 文人, 佐竹 久美, 佐藤 直子
Organizer
2022年度 情報処理学会東北支部研究会
-
-
-
[Presentation] 高齢者を対象とするeスポーツ実施時の情動喚起区間推定に関する検討2022
Author(s)
菊地 亮太, 景山 陽一, 白井 光, 石沢 千佳子, 末廣 健二, 高橋 伸明, 斉藤 洋樹, 小林 拓也, 渡邉 文人, 佐藤 直子, 佐竹 久美
Organizer
2022年度電気関係学会東北支部連合大会
-
-
[Presentation] 高齢者を対象とするeスポーツ実施時の顔面皮膚温度経時変化解析2022
Author(s)
三浦 有沙子, 景山 陽一, 白井 光, 石沢 千佳子, 末廣 健二, 高橋 伸明, 斉藤 洋樹, 小林 拓也, 渡邉 文人, 佐藤 直子, 佐竹 久美
Organizer
2022年度電気関係学会東北支部連合大会
-
-
