2021 Fiscal Year Annual Research Report
コミュニケーション支援を目的とした発話時の非接触情報による心情・体調変化の推定
| Project/Area Number |
19K12909
|
|---|
| Research Institution | Akita University |
|---|
Principal Investigator |
景山 陽一 秋田大学, 理工学研究科, 教授 (40292362)
|
|---|
| Project Period (FY) |
2019-04-01 – 2022-03-31
|
| Keywords | 非接触情報 / 心情変化 / 体調変化 / コミュニケーション支援 / 口唇の動き / 顔情報 / 熱赤外画像 / 機械学習 |
|---|
| Outline of Annual Research Achievements |
コミュニケーション支援を目的とし，発話時における非接触情報を用いた心情・体調変化の推定を行うため，以下の内容を実施した。なお，新型コロナウイルス感染症防止対策を十分に施してデータ取得や検討を行った。
①情動喚起映像(自然に感情が生じる映像)等を世代の異なる被験者（60代以上，20代）に提示して，心情変化が発生した条件下における口唇の動き特徴データ，顔の可視データ，並びに骨格座標データなどを取得した。得られたデータを対象として解析を行い，機械学習を用いた情動喚起発生区間検出法を提案しその有用性について検討を加えた。②表情解析において，新たな知識（未学習の表情パターン）を追加学習する際の表情特徴空間の更新処理法について検討を行い，その有用性を評価した。③頬や鼻などにおける顔表面の温度変化と情動喚起の程度との関連について解析を行った。その結果，心情・体調変化の程度と温度変化に関する知見を得た。また，故意表情と自然表情における温度変化解析も行い，その特徴を明らかにした。④口唇の動きと音声情報を用いて，発話者を推定する手法について検討を行った。最適な特徴量に関して検討を加えるとともに，選定した特徴量を用いる提案手法の汎用性を明らかにした。⑤CNN-LSTMを用いた口唇の動き特徴による発話内容の推定に関して検討を行った。発話における時系列的な口唇の動きから，母音を推定する際の有用な特徴量を選定するとともに，母音別の判別精度の傾向を明らかにした。⑥CNN-LSTMを用いた瞬き検出法を開発した。目の特徴を考慮した処理は検出精度の向上に寄与することを明らかにした。⑦情動喚起映像視聴時の骨格座標データを取得し，喜びや退屈を感じた際に生じる動作に関して解析を行った。
|
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
[Presentation] 高齢者を対象とするeスポーツ実施前後の顔熱赤外画像を用いた皮膚温度変化解析2021
Author(s)
三浦 有沙子, 景山 陽一, 白井 光, 石沢 千佳子, 末廣 健二, 高橋 伸明, 佐竹 久美, 小林 拓也, 渡邉 文人, 佐藤 直子, 熊谷 直史
Organizer
第37回 ファジィ システム シンポジウム
-
[Presentation] 高齢者を対象とするeスポーツ実施中における顔色情報の特徴解析2021
Author(s)
菊地 亮太, 景山 陽一, 白井 光, 石沢 千佳子, 末廣 健二, 高橋 伸明, 佐竹 久美, 小林 拓也, 渡邉 文人, 佐藤 直子, 熊谷 直史
Organizer
第37回 ファジィ システム シンポジウム
-
-
-
-
