| Project/Area Number |
22K12215
|
|---|
| Research Category |
Grant-in-Aid for Scientific Research (C)
|
| Allocation Type | Multi-year Fund |
|---|
| Section | 一般 |
|---|
| Review Section |
Basic Section 61060:Kansei informatics-related
|
|---|
| Research Institution | Akita University |
|---|
Principal Investigator |
景山 陽一 秋田大学, 理工学研究科, 教授 (40292362)
|
|---|
| Project Period (FY) |
2022-04-01 – 2025-03-31
|
| Project Status |
Granted (Fiscal Year 2022)
|
| Budget Amount *help |
¥4,160,000 (Direct Cost: ¥3,200,000、Indirect Cost: ¥960,000)
Fiscal Year 2024: ¥780,000 (Direct Cost: ¥600,000、Indirect Cost: ¥180,000)
Fiscal Year 2023: ¥780,000 (Direct Cost: ¥600,000、Indirect Cost: ¥180,000)
Fiscal Year 2022: ¥2,600,000 (Direct Cost: ¥2,000,000、Indirect Cost: ¥600,000)
|
|---|
| Keywords | eスポーツ / 非接触情報 / 高齢者 / 心情 / コミュニケーション支援 / 機械学習 / 画像処理 |
|---|
| Outline of Research at the Start |
本研究では，eスポーツ実施時の高齢者を対象とし，口唇の動き・視線や瞬き・顔温度・顔の各部位情報，並びに体動などの非接触情報を併用して，機械学習などによる心情（喜び・興奮，驚き，焦り・戸惑いなど）を推定し伝達するシステムを構築する。本研究の成果により複雑な心情から構成される表情や，相手や状況によって表出する心情の違いを理解できることが可能になるため，高齢者を対象とした高度な見守り支援システムなどへの活用が可能である。
|
| Outline of Annual Research Achievements |
本研究では，eスポーツ実施時の高齢者を対象とし，顔の各部位情報や顔温度情報，並びに体動などの非接触情報を併用して，機械学習などによる心情の種別と程度を推定するため，以下の内容を実施した。なお，新型コロナウイルス感染症防止対策を十分に施してデータ取得や検討を行った。
（1）60代以上の男女16名を対象として，eスポーツ実施時のデータ取得を行った。（2）eスポーツ実施中における被験者の頬領域における特徴量を算出し，被験者の感情発生との間に関連性があるのかどうかの解析を行った。（3）eスポーツ実施中における被験者の頬領域の特徴変化に着目し，機械学習を用いて感情が発生した区間を推定する手法を開発した。また，頬領域画像内からほうれい線による陰影領域を取り除くことは，感情発生区間推定の精度向上に寄与することを明らかにした。（4）高齢者を対象とした顔熱画像における情動喚起と温度変化の関連に着目し，eスポーツ実施時における感情と温度の変化について検討を加えた。また，被験者が回答したアンケートを基に，eスポーツ経験による心理状態の変化について調査を行った。さらに，皮膚温度変化と情動喚起との関連を解析するとともに， LSTMを用いて情動喚起区間を推定する手法を提案した。（5）表情特徴空間の更新条件に関する検討，および感情カテゴリーの帰属度に基づいた警戒パラメータの決定法を提案した。提案手法は，3表情間のばらつきが小さい，かつ各表情内のばらつきが大きい被験者に対して，特に有用であることを明らかにした。(6) CNN-LSTMを用いた瞬き検出について検討を行い，精度向上を図った。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
新型コロナウイルス感染症防止対策を十分に施し，2022年9月に60代以上の男女16名程度を対象とし， eスポーツ実施時のデータを取得した。
また，対象者の特性を考慮して心情変化を認識可能な特徴量を選定した。具体的には，可視・熱赤外情報などの各種非接触情報の中から有効な特徴量を選定し，得られた情報を併用して検討を加えた。また，被験者の時系列データを用いて機械学習による処理を開発した。さらに，対象者の心情に従って表出する表情と，心情に反して生じる表情（苦笑いなど）の違いは，どのような特徴として表出されるのかについても検討を進めている。
対戦相手の違いによる結果について検討するため，人とコンピュータが相手の条件下でそれぞれ取得したデータを用い，心情が表出する程度の違いは，どのような特徴量として表出されるのかについても解析を進めている。
|
| Strategy for Future Research Activity |
2023年度も2022年度同様，60代以上の男女を対象としてデータ取得を行う。
また，2022年度の検討結果を踏まえて，(i)被験者の自己申告による（意識した）結果，(ii)生体情報が示す無意識下での結果をそれぞれ解とし，深層学習を用いて推定法を開発する。
さらに，対戦相手の違いによる結果について検討するため，人とコンピュータが相手の条件下でそれぞれ取得したデータを用い，心情が表出する程度の違いは，どのような特徴量として表出されるのかを明らかにし，処理法を開発する。
|
