2015 Fiscal Year Research-status Report
発話内容と口調の食い違い検出に基づく話者の心理状態の推定
| Project/Area Number |
26330313
|
|---|
| Research Institution | Hiroshima City University |
|---|
Principal Investigator |
目良 和也 広島市立大学, 情報科学研究科, 助教 (50285425)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
黒澤 義明 広島市立大学, 情報科学研究科, 助教 (50264940)
竹澤 寿幸 広島市立大学, 情報科学研究科, 教授 (90395012)
|
|---|
| Project Period (FY) |
2014-04-01 – 2017-03-31
|
| Keywords | 感情の食い違い / 音響的特徴 / 表情 / 感情推定手法 / 自然言語対話システム |
|---|
| Outline of Annual Research Achievements |
本研究では，発話のバーバル情報とノンバーバル情報から話者の感情を推定し，その食い違い状況から隠された話者の心理を検出することを目的としている．
2015年度は，言語情報から推定した感情と音響的特徴から推定した感情の両方を考慮して返答する対話システムの実装および評価，瞬間の静止顔画像から推定した表情の変化から一連の流れに対する感情を推定する手法，そして複数の情報源それぞれから推定した感情の一致と食い違い状況に対する分析を行った．
まずは言語情報から推定した感情と音響的特徴から推定した感情の両方を考慮して返答する対話システムを実装した（研究計画書9に相当）．そして対話システムと人間の対話の様子を被験者に見せて，対話システムに対する印象評定を行った（研究計画書10に相当）．次に，オムロン株式会社のOKAOVisionを用いて静止画像の表情を推定した結果を累積して一連の動画全体の話者の感情を推定する手法を3種類提案し，比較実験を行った（研究計画書13に相当）．さらに開発した音声からの感情推定手法と表情からの感情推定手法の推定結果を比較し，一致する場合と食い違いがある場合について考察を行った（研究計画書7に相当）．その結果，推定感情が一致した場合は単独の感情推定手法による推定より良い精度が得られた．また，感情推定結果に食い違いが起きた場合は，からかいながらも心を許しているような状況がよく検出された（研究計画書8に相当）．
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
当初の目的どおり，複数の情報源からの感情推定手法を自然言語対話システムに組み込み，印象評定を行った．さらに，表情からの感情推定手法についても着手できた．
しかし，言語表現からの感情推定手法は当初予定していた手法では精度が低いため改良が必要である．
|
| Strategy for Future Research Activity |
言語表現からの感情推定手法は当初予定していた手法では精度が低いため改良が必要である．また，音響的特徴からの感情推定手法の改良のために感情音声データを新たに収集する必要があるが，予定している手法では当初想定していた感情クラスから増やす必要があることと，感情の度合を変化させた感情音声を収集するため，プロの声優に依頼する予定である．
上記の声優による感情音声はあくまでも演技音声であるため，自発的な感情表出の様子を録音および録画するための方策を検討する．
|
| Causes of Carryover |
感情音声データの録音のため，声優に演技を依頼する予定だったが，提案手法の改良によって，使用する感情クラスの見直しをする必要がでてきたため．
|
| Expenditure Plan for Carryover Budget |
感情音声データの録音のため，声優に演技を依頼する．
|
