2014 Fiscal Year Research-status Report
発話内容と口調の食い違い検出に基づく話者の心理状態の推定
| Project/Area Number |
26330313
|
|---|
| Research Institution | Hiroshima City University |
|---|
Principal Investigator |
目良 和也 広島市立大学, 情報科学研究科, 助教 (50285425)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
黒澤 義明 広島市立大学, 情報科学研究科, 助教 (50264940)
竹澤 寿幸 広島市立大学, 情報科学研究科, 教授 (90395012)
|
|---|
| Project Period (FY) |
2014-04-01 – 2017-03-31
|
| Keywords | 感情の食い違い / 単語極性 / 音響分析 / ツンデレ / 感情推定手法 |
|---|
| Outline of Annual Research Achievements |
本研究では，発話のバーバル情報とノンバーバル情報から話者の感情を推定し，その食い違い状況から隠された話者の心理を検出することを目的としている．
2014年度は，バーバル情報からの感情推定手法と，音響情報からの感情推定手法について研究を行った．
まずは研究対象となる，バーバル情報とノンバーバル情報からの表出感情に食い違いのある発話の事例をアニメDVDから収集した（研究実施計画1,2に相当）．次に，フリーウェア(OpenSMILE)を用いて発話音声の音響的特徴を抽出し，そこから機械学習によって発話音声の快不快を判定する手法を提案した（研究実施計画3に相当）．そして，既存のデータベース（単語極性辞書）を用いて，発話中に含まれる快イメージの語と不快イメージの語を抽出し，それらの出現傾向から発話に対する快不快感情を推定する手法を提案した（研究実施計画4に相当）．それから音声からの推定感情と言語からの推定感情に食い違いのある事例について分析を行った（研究実施計画5,6,7に相当）．さらに提案手法によって食い違いがあった事例と人間が食い違いを感じる事例について比較を行い，提案手法の性能と意義について評価を行った．
その結果，言語情報からの感情推定手法の精度があまり良くないことが分かった．また，人間が食い違いがあるとした事例を拾い上げる再現率についても再検討が必要なことがわかった．しかし，提案手法の精度はある程度良い値が得られた．
今回はアニメDVDから声優が演技した音声を対象として研究を行ったが，文献調査の結果，演技音声と自発音声ではその特徴が異なる場合があるという知見が得られたため，今後は自発音声でも実験を行う必要がある．
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
当初の目的どおり，音響情報と言語情報からの感情推定手法を考案することができた．さらに，収集した事例を用いて評価実験も行った．しかし，当初の計画では声優に演技してもらった音声を使って実験を行うことを想定していたが，演技音声と自発音声では異なる特徴があるという知見を得たため，自発音声を新たに収集し，再実験を行う必要がある．
|
| Strategy for Future Research Activity |
まず，演技音声と自発音声では異なる特徴があるという知見を得たため，自発音声を新たに収集し，再実験を行う必要がある．
また，表情から感情推定を行うツールを入手したため，言語，音声に加えて表情も考慮した食い違い検出手法へと提案手法を拡張していく予定である．
そのために，研究計画では声優に演技してもらった音声を収集して研究を進めることになっていたが，ビデオカメラを使って表情情報も加えた食い違い事例データベースを作成する予定である．しかし，自発的な感情表出で食い違いがみられる事例を大量に収集することは容易ではないため，事例の収集手法については検討をする必要がある．
|
| Causes of Carryover |
当初計画では，声優に演技してもらった音声を研究材料に使う予定であったため，声優への謝金を想定していたが，演技音声ではなく自発音声を対象にすること及び，表情も含めた感情推定処理を行う予定になったことから，感情表出の研究材料を収集するための謝金を，2015年度に繰り越すこととした．
|
| Expenditure Plan for Carryover Budget |
表情も含めた感情表出事例を収集し，データベース化する予定である．その際，出来れば演技ではなく自発的な感情表出を集めるため，役者ではなく大人数の一般人を対象として，データを収集する予定である．
|
Research Products
(1 results)
