2019 Fiscal Year Research-status Report
コミュニケーション支援を目的とした発話時の非接触情報による心情・体調変化の推定
| Project/Area Number |
19K12909
|
|---|
| Research Institution | Akita University |
|---|
Principal Investigator |
景山 陽一 秋田大学, 理工学研究科, 教授 (40292362)
|
|---|
| Project Period (FY) |
2019-04-01 – 2022-03-31
|
| Keywords | 非接触情報 / 心情変化 / 体調変化 / コミュニケーション支援 / 口唇の動き特徴 / 顔情報 / 自然表情 / 熱赤外画像 |
|---|
| Outline of Annual Research Achievements |
コミュニケーション支援を目的とし，発話時における非接触情報を用いた心情・体調変化の推定を行うため，2019年度は以下の内容を行った。なお，本研究では，心情変化を「喜び・定常状態・驚き・退屈」など，体調変化を「定常状態・ストレスや風邪などにより体調がすぐれない」などと定義して検討を行っている。
①情動喚起映像(自然に感情が生じる映像)を被験者に提示して，喜びなどの感情が喚起された状態（心情変化）における口唇の動き特徴データ，顔の可視データ，並びに姿勢や頭部の動き(3次元情報を含む)を取得した。さらに，取得したデータを対象として有効となる特徴量の選定を行った。②表情解析を行うために，新たな知識（未学習の表情パターン）を追加学習する表情認識モデルについて検討を行った。パラメータの適切な設定は，誤学習の抑制と高精度な表情認識を可能にすることを明らかにした。③熱赤外画像を対象とした汎用的な顔領域抽出法について検討を加えた。その結果，個人固有の顔検出を生成することなく，良好に顔領域が抽出可能であることを明らかにした。また，無表情と笑いなどの表情における相違について検討を加えた。その結果，頬などの着目領域における温度変化について知見が得られた。④照明条件にロバストな口唇領域を抽出するため，ニューラルネットワークを用いた手法の開発を行った。⑤口唇の動き特徴を用いた発話内容の基礎検討を行った。Dynamic Time Warpingを用いて検討を行った結果，母音の違いと口唇の動きの違いに関する知見が得られた。⑥心情変化と瞬きの回数などの関連について検討を加えた。また，ニューラルネットワークを用いた瞬き検出法を提案し，提案手法により良好に瞬きが検出できることを明らかにした。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
本研究は3年間での遂行を計画しており，2019年度は初年度となる。このため，設定した計画に従い，情動喚起映像(自然に感情が生じる映像)を被験者に提示して，心情変化が生じた際の口唇の動き特徴データ，顔の可視データ，並びに姿勢や頭部の動き(3次元情報を含む)を取得した。また，目から得られる情報として瞬きに着目し，心情変化と瞬きとの関連について検討を加えた。得られたデータを対象とし，有効となる特徴量の選定を行った。
次に，各種検討を行うため，要素技術の開発を行った。表情解析では，新たな知識（未学習の表情パターン）を追加学習する表情認識モデルについて検討を行った結果，被験者によっては精度が低下する事例に対しても精度を向上させることができた。また，熱赤外画像を用いた心情変化・体調変化と顔情報との関連を推進するために，従来は被験者ごとに顔検出器を作成したものの，2019年度では汎用的な顔領域抽出法の開発を行った。この結果，データ作成に必要となる処理時間の軽減が可能になった。さらに，照明などのデータ取得条件により顔画像データから得られる特徴は変化する。このため，ニューラルネットワークを用いた照明条件にロバストな口唇領域抽出法を行った。また，口唇の動き特徴を用いた発話内容の基礎検討を行い，母音の違いと口唇の動きの違いに関する知見が得られたことから，2020年度以降の処理方法の開発に関する方針も検討することができた。
以上より「おおむね順調に進展している」と判断した。
|
| Strategy for Future Research Activity |
2019年度までの検討を踏まえ，個人固有の心情・体調変化を認識可能な特徴量を選定する。特に，脈拍・ストレスの程度などの生体情報を関連付けて，被験者自身が意識している（意識）・意識していない（無意識）状況下の内部情報を機械学習などの活用により推定する。さらに，心情・体調推定システムのプロトタイプを構築する。
具体的には，以下の内容を推進する。①従来検討していた3種類（喜び・驚き・無表情）の表情に「退屈」の表情を加えて，情動喚起映像の視聴により表出される表情と故意表情の違いを明らかにする。②熱赤外画像における感情の表出と頬・鼻の温度上昇にはタイムラグが生じるため，これを考慮し2つの頬領域と鼻領域を面情報として捉えて解析する。また，心情の違いや程度による熱温度の違いも検討する。③被験者の心情や体調状態により瞬きの仕方や目の開き方も異なるため，時系列データを用いた検討を行う。④母音の違いと口唇の動きの違いに関する知見を基に，時系列データを用いた検討を行う。⑤初日のデータは平常の値とは異なるデータが取得される場合が多い。これを短期的な心情変化データであると仮定し，別途検討を行う。⑥上記結果を基に，心情・体調変化の検出に有効な特徴量の組み合わせを選定する。また，センシング統合化方法を確立する。⑦個人差を考慮した「心情・体調推定システム」のプロトタイプを構築する。⑧世代の異なる被験者を対象としてデータを取得する。また，世代間の違いより顔に表出される情報(口唇や目の動きなど)の違いについて検討する。特徴量が大きく異なる場合には，階層的な処理についても検討する。さらに，「気持ちが沈んでいる」状態の検出が可能かどうかを検討する。最後に，最適な各種パラメータの選定，処理の改良とシステムの最適化を図り，世代や被験者の特性を考慮可能な心情・体調推定システムを構築する。
|
| Causes of Carryover |
2020年3月に研究成果の学会発表を予定していた。しかしながら，新型コロナウィルスの影響を受け，学会の開催中止や現地での参加を見送ったことに伴い，計上していた旅費の使用には至らなかったため，次年度使用額が生じた。
この次年度使用額は，研究成果の投稿費用として次年度に使用する予定である。
|
