• Search Research Projects
  • Search Researchers
  • How to Use
  1. Back to previous page

eスポーツを活用した非接触情報による高齢者の心情種別推定と伝達システムの開発

Research Project

Project/Area Number 22K12215
Research Category

Grant-in-Aid for Scientific Research (C)

Allocation TypeMulti-year Fund
Section一般
Review Section Basic Section 61060:Kansei informatics-related
Research InstitutionAkita University

Principal Investigator

景山 陽一  秋田大学, 理工学研究科, 教授 (40292362)

Project Period (FY) 2022-04-01 – 2025-03-31
Project Status Granted (Fiscal Year 2022)
Budget Amount *help
¥4,160,000 (Direct Cost: ¥3,200,000、Indirect Cost: ¥960,000)
Fiscal Year 2024: ¥780,000 (Direct Cost: ¥600,000、Indirect Cost: ¥180,000)
Fiscal Year 2023: ¥780,000 (Direct Cost: ¥600,000、Indirect Cost: ¥180,000)
Fiscal Year 2022: ¥2,600,000 (Direct Cost: ¥2,000,000、Indirect Cost: ¥600,000)
Keywordseスポーツ / 非接触情報 / 高齢者 / 心情 / コミュニケーション支援 / 機械学習 / 画像処理
Outline of Research at the Start

本研究では,eスポーツ実施時の高齢者を対象とし,口唇の動き・視線や瞬き・顔温度・顔の各部位情報,並びに体動などの非接触情報を併用して,機械学習などによる心情(喜び・興奮,驚き,焦り・戸惑いなど)を推定し伝達するシステムを構築する。本研究の成果により複雑な心情から構成される表情や,相手や状況によって表出する心情の違いを理解できることが可能になるため,高齢者を対象とした高度な見守り支援システムなどへの活用が可能である。

Outline of Annual Research Achievements

本研究では,eスポーツ実施時の高齢者を対象とし,顔の各部位情報や顔温度情報,並びに体動などの非接触情報を併用して,機械学習などによる心情の種別と程度を推定するため,以下の内容を実施した。なお,新型コロナウイルス感染症防止対策を十分に施してデータ取得や検討を行った。
(1)60代以上の男女16名を対象として,eスポーツ実施時のデータ取得を行った。(2)eスポーツ実施中における被験者の頬領域における特徴量を算出し,被験者の感情発生との間に関連性があるのかどうかの解析を行った。(3)eスポーツ実施中における被験者の頬領域の特徴変化に着目し,機械学習を用いて感情が発生した区間を推定する手法を開発した。また,頬領域画像内からほうれい線による陰影領域を取り除くことは,感情発生区間推定の精度向上に寄与することを明らかにした。(4)高齢者を対象とした顔熱画像における情動喚起と温度変化の関連に着目し,eスポーツ実施時における感情と温度の変化について検討を加えた。また,被験者が回答したアンケートを基に,eスポーツ経験による心理状態の変化について調査を行った。さらに,皮膚温度変化と情動喚起との関連を解析するとともに, LSTMを用いて情動喚起区間を推定する手法を提案した。(5)表情特徴空間の更新条件に関する検討,および感情カテゴリーの帰属度に基づいた警戒パラメータの決定法を提案した。提案手法は,3表情間のばらつきが小さい,かつ各表情内のばらつきが大きい被験者に対して,特に有用であることを明らかにした。(6) CNN-LSTMを用いた瞬き検出について検討を行い,精度向上を図った。

Current Status of Research Progress
Current Status of Research Progress

2: Research has progressed on the whole more than it was originally planned.

Reason

新型コロナウイルス感染症防止対策を十分に施し,2022年9月に60代以上の男女16名程度を対象とし, eスポーツ実施時のデータを取得した。
また,対象者の特性を考慮して心情変化を認識可能な特徴量を選定した。具体的には,可視・熱赤外情報などの各種非接触情報の中から有効な特徴量を選定し,得られた情報を併用して検討を加えた。また,被験者の時系列データを用いて機械学習による処理を開発した。さらに,対象者の心情に従って表出する表情と,心情に反して生じる表情(苦笑いなど)の違いは,どのような特徴として表出されるのかについても検討を進めている。
対戦相手の違いによる結果について検討するため,人とコンピュータが相手の条件下でそれぞれ取得したデータを用い,心情が表出する程度の違いは,どのような特徴量として表出されるのかについても解析を進めている。

Strategy for Future Research Activity

2023年度も2022年度同様,60代以上の男女を対象としてデータ取得を行う。
また,2022年度の検討結果を踏まえて,(i)被験者の自己申告による(意識した)結果,(ii)生体情報が示す無意識下での結果をそれぞれ解とし,深層学習を用いて推定法を開発する。
さらに,対戦相手の違いによる結果について検討するため,人とコンピュータが相手の条件下でそれぞれ取得したデータを用い,心情が表出する程度の違いは,どのような特徴量として表出されるのかを明らかにし,処理法を開発する。

Report

(1 results)
  • 2022 Research-status Report
  • Research Products

    (22 results)

All 2023 2022 Other

All Journal Article (1 results) (of which Peer Reviewed: 1 results,  Open Access: 1 results) Presentation (20 results) (of which Int'l Joint Research: 2 results) Remarks (1 results)

  • [Journal Article] Temperature Analysis of Face Regions Based on Degree of Emotion of Joy2022

    • Author(s)
      M. Yamada, Y. Kageyama
    • Journal Title

      International Journal of Innovative Computing, Information and Control

      Volume: 18 Issue: 05 Pages: 1383

    • DOI

      10.24507/ijicic.18.05.1383

    • ISSN
      1349-4198
    • Related Report
      2022 Research-status Report
    • Peer Reviewed / Open Access
  • [Presentation] 画像および音声情報を用いた会話時における発話者判別手法に関する検討2023

    • Author(s)
      佐々木 嶺, 景山 陽一, 本田 悠将, 廣瀬 聡
    • Organizer
      令和4年度日本知能情報ファジィ学会東北支部研究会
    • Related Report
      2022 Research-status Report
  • [Presentation] 鼻部および頬部の皮膚温度変化を用いたLSTMモデルによる情動喚起区間推定法2023

    • Author(s)
      田邉 里和, 鄒 敏, 景山 陽一
    • Organizer
      令和4年度日本知能情報ファジィ学会東北支部研究会
    • Related Report
      2022 Research-status Report
  • [Presentation] 熱赤外カメラを用いた退屈状態時における顔面皮膚温度変化の解析2023

    • Author(s)
      田中 太郎, 景山 陽一, 石沢 千佳子
    • Organizer
      情報処理学会第85回全国大会
    • Related Report
      2022 Research-status Report
  • [Presentation] 機械学習を用いたeスポーツ実施中の高齢者における感情発生区間推定に関する検討2023

    • Author(s)
      菊地 亮太, 景山 陽一, 白井 光, 石沢 千佳子, 末廣 健二, 高橋 伸明, 斉藤 洋樹, 小林 拓也, 渡邉 文人, 佐竹 久美, 佐藤 直子
    • Organizer
      情報処理学会第85回全国大会
    • Related Report
      2022 Research-status Report
  • [Presentation] 高齢者を対象とするeスポーツ実施時の皮膚温度変化を用いた感情喚起推定2023

    • Author(s)
      三浦 有沙子, 景山 陽一, 白井 光, 石沢 千佳子, 末廣 健二, 高橋 伸明, 斉藤 洋樹, 小林 拓也, 渡邉 文人, 佐竹 久美, 佐藤 直子
    • Organizer
      情報処理学会第85回全国大会
    • Related Report
      2022 Research-status Report
  • [Presentation] 雑音に対する頑健性の評価を目的とした日本語の発話内容推定に関する検討2023

    • Author(s)
      本田 悠将, 中村 悦郎, 景山 陽一, 廣瀬 聡
    • Organizer
      情報処理学会第85回全国大会
    • Related Report
      2022 Research-status Report
  • [Presentation] 3表情を対象とした表情認識モデルにおける警戒パラメータの決定法に関する検討2023

    • Author(s)
      高松 未佳, 石井 雅樹, 景山 陽一
    • Organizer
      情報処理学会第85回全国大会
    • Related Report
      2022 Research-status Report
  • [Presentation] Analyzing Facial Skin Temperature in the Elderly While Playing eSports2022

    • Author(s)
      A. Miura, Y. Kageyama, H. Shirai, C. Ishizawa, K. Suehiro, N. Takahashi, H. Saito, T. Kobayashi, F. Watanabe, H. Satake, N. Sato
    • Organizer
      2022 Joint 12th International Conference on Soft Computing and Intelligent Systems and 23rd International Symposium on Advanced Intelligent Systems (SCIS&ISIS2022)
    • Related Report
      2022 Research-status Report
    • Int'l Joint Research
  • [Presentation] Basic Study on Estimating Emotional Arousal Intervals in the Elderly when Playing eSports2022

    • Author(s)
      R. Kikuchi, Y. Kageyama, H. Shirai, C. Ishizawa, K. Suehiro, N. Takahashi, H. Saito, T. Kobayashi, F. Watanabe, H. Satake, N. Sato
    • Organizer
      2022 Joint 12th International Conference on Soft Computing and Intelligent Systems and 23rd International Symposium on Advanced Intelligent Systems (SCIS&ISIS2022)
    • Related Report
      2022 Research-status Report
    • Int'l Joint Research
  • [Presentation] 表情特徴空間の更新手法2022

    • Author(s)
      高松 未佳, 石井 雅樹, 景山 陽一
    • Organizer
      映像情報メディア学会 2022年冬季大会
    • Related Report
      2022 Research-status Report
  • [Presentation] 高齢者を対象とするeスポーツ実施時の皮膚温度解析および感情喚起推定2022

    • Author(s)
      三浦 有沙子, 景山 陽一, 白井 光, 石沢 千佳子, 末廣 健二, 高橋 伸明, 斉藤 洋樹, 小林 拓也, 渡邊 文人, 佐竹 久美, 佐藤 直子
    • Organizer
      2022年度 情報処理学会東北支部研究会
    • Related Report
      2022 Research-status Report
  • [Presentation] 画像および音声特徴量を用いた日本語の発話内容推定に関する基礎検討2022

    • Author(s)
      本田 悠将, 中村 悦郎, 景山 陽一, 廣瀬 聡
    • Organizer
      2022年度 情報処理学会東北支部研究会
    • Related Report
      2022 Research-status Report
  • [Presentation] 適応学習機能を有する表情認識モデルの再学習法に関する検討2022

    • Author(s)
      高松 未佳, 石井 雅樹, 景山 陽一
    • Organizer
      2022年度 情報処理学会東北支部研究会
    • Related Report
      2022 Research-status Report
  • [Presentation] 高齢者を対象とするeスポーツ実施時の顔色特徴解析ならびに感情発生区間推定手法の検討2022

    • Author(s)
      菊地 亮太, 景山 陽一, 白井 光, 石沢 千佳子, 末廣 健二, 高橋 伸明, 斉藤 洋樹, 小林 拓也, 渡邊 文人, 佐竹 久美, 佐藤 直子
    • Organizer
      2022年度 情報処理学会東北支部研究会
    • Related Report
      2022 Research-status Report
  • [Presentation] 非集中(退屈)状態の推定を目的とした皮膚温度の変化に関する基礎検討(Ⅱ)2022

    • Author(s)
      田中 太郎, 石沢 千佳子, 景山 陽一
    • Organizer
      2022年度電気関係学会東北支部連合大会
    • Related Report
      2022 Research-status Report
  • [Presentation] 高齢者を対象とするeスポーツ実施時の瞬き検出手法の開発(Ⅱ)2022

    • Author(s)
      梅北 空良, 景山 陽一, 末廣 健二, 高橋 伸明, 斉藤 洋樹, 小林 拓也, 渡邉 文人, 佐藤 直子, 佐竹 久美
    • Organizer
      2022年度電気関係学会東北支部連合大会
    • Related Report
      2022 Research-status Report
  • [Presentation] 高齢者を対象とするeスポーツ実施時の情動喚起区間推定に関する検討2022

    • Author(s)
      菊地 亮太, 景山 陽一, 白井 光, 石沢 千佳子, 末廣 健二, 高橋 伸明, 斉藤 洋樹, 小林 拓也, 渡邉 文人, 佐藤 直子, 佐竹 久美
    • Organizer
      2022年度電気関係学会東北支部連合大会
    • Related Report
      2022 Research-status Report
  • [Presentation] 表情認識モデルにおける学習回数に着目した追加学習処理に関する検討2022

    • Author(s)
      高松 未佳, 石井 雅樹, 景山 陽一
    • Organizer
      2022年度電気関係学会東北支部連合大会
    • Related Report
      2022 Research-status Report
  • [Presentation] 高齢者を対象とするeスポーツ実施時の顔面皮膚温度経時変化解析2022

    • Author(s)
      三浦 有沙子, 景山 陽一, 白井 光, 石沢 千佳子, 末廣 健二, 高橋 伸明, 斉藤 洋樹, 小林 拓也, 渡邉 文人, 佐藤 直子, 佐竹 久美
    • Organizer
      2022年度電気関係学会東北支部連合大会
    • Related Report
      2022 Research-status Report
  • [Presentation] 顔画像を用いた発話内容推定に関する基礎検討2022

    • Author(s)
      本田 悠将, 中村 悦郎, 景山 陽一, 廣瀬 聡
    • Organizer
      2022年度電気関係学会東北支部連合大会
    • Related Report
      2022 Research-status Report
  • [Remarks] 景山・石沢研究室

    • URL

      https://adeos6.ie.akita-u.ac.jp/

    • Related Report
      2022 Research-status Report

URL: 

Published: 2022-04-19   Modified: 2023-12-25  

Information User Guide FAQ News Terms of Use Attribution of KAKENHI

Powered by NII kakenhi