研究課題
コミュニケーション支援を目的とし，発話時における非接触情報を用いた心情・体調変化の推定を行うため，以下の内容を実施した。なお，新型コロナウイルス感染症防止対策を十分に施してデータ取得や検討を行った。①情動喚起映像(自然に感情が生じる映像)等を世代の異なる被験者（60代以上，20代）に提示して，心情変化が発生した条件下における口唇の動き特徴データ，顔の可視データ，並びに骨格座標データなどを取得した。得られたデータを対象として解析を行い，機械学習を用いた情動喚起発生区間検出法を提案しその有用性について検討を加えた。②表情解析において，新たな知識（未学習の表情パターン）を追加学習する際の表情特徴空間の更新処理法について検討を行い，その有用性を評価した。③頬や鼻などにおける顔表面の温度変化と情動喚起の程度との関連について解析を行った。その結果，心情・体調変化の程度と温度変化に関する知見を得た。また，故意表情と自然表情における温度変化解析も行い，その特徴を明らかにした。④口唇の動きと音声情報を用いて，発話者を推定する手法について検討を行った。最適な特徴量に関して検討を加えるとともに，選定した特徴量を用いる提案手法の汎用性を明らかにした。⑤CNN-LSTMを用いた口唇の動き特徴による発話内容の推定に関して検討を行った。発話における時系列的な口唇の動きから，母音を推定する際の有用な特徴量を選定するとともに，母音別の判別精度の傾向を明らかにした。⑥CNN-LSTMを用いた瞬き検出法を開発した。目の特徴を考慮した処理は検出精度の向上に寄与することを明らかにした。⑦情動喚起映像視聴時の骨格座標データを取得し，喜びや退屈を感じた際に生じる動作に関して解析を行った。
すべて 2022 2021
すべて 雑誌論文 (2件) (うち査読あり 2件) 学会発表 (22件) (うち国際学会 2件)
IEEJ Transactions on Electrical and Electronic Engineering
巻: 17 ページ: 674-684
10.1002/tee.23555
巻: 17 ページ: 掲載決定
