2020 Fiscal Year Research-status Report
コミュニケーション支援を目的とした発話時の非接触情報による心情・体調変化の推定
| Project/Area Number |
19K12909
|
|---|
| Research Institution | Akita University |
|---|
Principal Investigator |
景山 陽一 秋田大学, 理工学研究科, 教授 (40292362)
|
|---|
| Project Period (FY) |
2019-04-01 – 2022-03-31
|
| Keywords | 非接触情報 / 心情変化 / 体調変化 / コミュニケーション支援 / 口唇の動き / 顔情報 / 表情 / 熱赤外画像 |
|---|
| Outline of Annual Research Achievements |
コミュニケーション支援を目的とし，発話時における非接触情報を用いた心情・体調変化の推定を行うため，以下の内容を実施した。
①情動喚起映像(自然に感情が生じる映像)等を世代の異なる被験者に提示して，喜び等の感情が喚起された状態（心情変化）における口唇の動き特徴データ，顔の可視データ，並びに骨格座標データを継続的に取得した。なお，新型コロナウイルス感染症防止対策を十分に施してデータ取得を行った。②表情解析において，新たな知識（未学習の表情パターン）を追加学習する際に表情認識モデルで用いる適切なパラメータについて検討を加え，各パラメータにおける却下基準の有用性を明らかにした。③昨年度までに開発した「熱赤外画像を対象とする顔領域抽出法」を用いて，頬などの着目領域における温度変化と情動喚起の程度との関連についてデータを解析し，変化量に関する知見を得た。④口唇の動きと音声情報を用いて，発話者を推定する手法について検討を行った。最適な音声の特徴量に関して検討を加えるとともに，選定した特徴量の汎用性に関する検討を行った。⑤Long Short Term Memory (LSTM)を用いた口唇の動き特徴による発話内容の推定に関して検討を行った。発話における時系列的な口唇の動きから，母音を推定する際の有用な特徴量を選定するとともに，母音別の判別精度の傾向を明らかにした。⑥ディープラーニングを用いた瞬き検出法を開発した。その結果，提案手法は良好に瞬きが検出できることを明らかにした。⑦情動喚起映像視聴時の骨格座標データを取得し，情動との関連に関して検討を加えた。その結果，着目する特徴的な体動の変化は，喜びや退屈などの動作を判別するための指標になり得ることを明らかにした。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
本研究では，情動喚起映像(自然に感情が生じる映像)等を世代の異なる被験者に提示して，心情変化が生じた際の口唇の動き特徴データ，顔の可視データ・熱赤外データ，並びに骨格座標データを継続的に取得した。また，目から得られる情報として瞬きに着目し，心情変化と瞬きとの関連についての検討も行った。さらに，2019年度までに行った特徴量の生成および選定内容について検証を行い，適宜改良を行った。次に，これまでに行った要素技術の改良および解析手法の開発を行った。表情解析では，新たな知識（未学習の表情パターン）を追加学習する表情認識モデルで用いるパラメータについて検討を加え，各パラメータにおける却下基準の有用性を明らかにした。
熱赤外画像を用いた心情変化・体調変化と顔情報との関連を推進するために，「熱赤外画像を対象とする顔領域抽出法」を用いて，頬などの着目領域における温度変化と情動喚起の程度との関連についてデータを解析し，変化量に関する知見を得た。また，実用化を想定して，処理時間の短縮を図った。
発話者の推定を行うため，口唇の動きと音声情報を用いた検討を行い，使用する特徴量の選定を行った。特定した発話者から口唇の動き特徴を用いて発話内容の推定を行うために，時系列的な口唇の動きからLSTMを用いて検討を行い，母音推定に用いる特徴量を選定するとともに，母音別の判別精度の傾向を明らかにした。
ディープラーニングを用いた瞬き検出法を開発するとともに，情動喚起映像視聴時の骨格座標データを取得して解析を行った。着目する特徴的な体動の変化は，喜びや退屈などの動作を判別するための指標になり得ることを明らかにした。
以上より「おおむね順調に進展している」と判断した。
|
| Strategy for Future Research Activity |
新型コロナウイルス感染症防止対策を十分に施し，世代の異なる被験者を対象として継続的にデータを取得する。特に，これまでに検討を加えてきた顔に表出される特徴量の程度に関して，世代の違いに着目して検討を加える。
また，リモートで取得される心拍数等の生体情報と関連付けて，被験者自身が意識している（意識）・意識していない（無意識）状況下における内面の情報と心理・体調との関連を推定する。さらに，最適な各種パラメータの選定，処理の改良とシステムの最適化を図り，世代や被験者の特性を考慮可能な心情・体調推定システムを構築する。
具体的には，以下の内容を推進する。①情動喚起映像の視聴により表出される自然表情と故意表情の違いについて，複数の表情の種類ごとに違いの程度を明らかにする。②熱赤外画像においても自然表情と故意表情の違いおよび情動喚起の程度に関して，頬領域と鼻領域を面情報として捉えて機械学習により解析する。③2020年度までに開発した技術を用いて検出した瞬きの仕方や目の開き方に関する情報を統合し，時系列データを用いた検討を行い，心理・体調変化との関連を被験者レベルで検討する。④時系列データを用いた母音の違いと口唇の動きの違いに関する知見を基に，発話内容の推定技術を開発する。⑤上記内容を基に，世代間の違いより顔に表出される情報の違いについて検討を加え，特徴量の最適化や階層的な処理についても検討する。⑥最適な各種パラメータの選定・最適化，処理の改良とシステム全体の最適化を図り，被験者の特性を考慮可能な心情・体調推定システムを構築する。
|
-
-
-
-
-
-
[Presentation] 高齢者を対象とするeスポーツ実施時の顔熱赤外画像と感情の関連に関する検討2021
Author(s)
三浦 有沙子, 景山 陽一, 白井 光, 石沢 千佳子, 末廣 健二, 高橋 伸明, 佐竹 久美, 小林 拓也, 佐藤 雄介, 佐藤 直子, 熊谷 直史
Organizer
令和2年度日本知能情報ファジィ学会東北支部研究会
-
[Presentation] 高齢者を対象とするeスポーツ実施時の感情・関心推定法に関する基礎検討2021
Author(s)
菊地 亮太, 景山 陽一, 白井 光, 石沢 千佳子, 末廣 健二, 高橋 伸明, 佐竹 久美, 小林 拓也, 佐藤 雄介, 佐藤 直子, 熊谷 直史
Organizer
令和2年度日本知能情報ファジィ学会東北支部研究会
-
-
-
-
-
-
-
-
-
-
