2016 Fiscal Year Annual Research Report
Affect burst―音声対話における無意識な感情表出の分析および合成
| Project/Area Number |
26280100
|
|---|
| Research Institution | Utsunomiya University |
|---|
Principal Investigator |
森 大毅 宇都宮大学, 工学(系)研究科(研究院), 准教授 (10302184)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
有本 泰子 国立研究開発法人理化学研究所, その他部局等, 研究員 (60586957)
能勢 隆 東北大学, 工学(系)研究科(研究院), 准教授 (90550591)
|
|---|
| Project Period (FY) |
2014-04-01 – 2018-03-31
|
| Keywords | 笑い声合成 / アノテーション / 知覚 |
|---|
| Outline of Annual Research Achievements |
(5) Affect burstを含む対話音声の合成
対話中に生じる笑い声の統計モデルを構築するため、UUDBおよびOGVCに含まれる笑い声の詳細なセグメンテーションを行った。笑い声の構造は、音節に対応するcall, 1つ以上のcallから成り1回の呼気に対応するbout, boutおよび吸気の連続からなる1連の笑いエピソードのように、階層的に理解される。本年度は、各笑いエピソードに対してbout/吸気およびcallレベルのセグメンテーションを行った。各boutの特徴は、「ハ」「フ」などの日本語の音節による表記を基本にし、有声／無声、鼻音、引き伸ばしなどのバリエーションを補助記号で記述することにより行った。笑い声の合成方式にはHMM音声合成を採用し、先行／後続セグメントやcallの位置などの情報からなるコンテキストを定義してモデル化を行った。UUDBおよびOGVCに含まれる3名の笑い声109 boutsを用いてモデル学習を行い、笑い声合成を行った。合成された笑い声の品質は9名の学生による自然性評価実験によって確認した。その結果、5段階のMean Opinion Scoreによる評価で2.83が得られた。また、位置の情報を考慮したコンテキストが自然性の向上に有効であることがわかった。
(4) Affect burst音声の知覚実験
笑い声の特徴の違いが笑い声を含む発話に印象に与える影響を調べるため、(5)で実現したHMM笑い声合成のコンテキスト情報を操作した刺激を作成し、そこから知覚されるパラ言語情報の違いを調べる知覚実験を行った。操作したコンテキストは、母音種の違い(/a/ vs /u/)、およびピッチの変化パターン(下降後に低、上昇後に高、高、低)である。実験の結果、/a/系の笑い声は/u/系の笑い声と比べ快寄りかつ覚醒寄りに知覚される傾向が得られた。ピッチの変化パターンについては、/a/系では影響がなく、/u/系では低パターンが他のパターンに比べ不快寄りに知覚される傾向が得られた。
|
| Current Status of Research Progress |
Current Status of Research Progress
3: Progress in research has been slightly delayed.
Reason
以下の計画は、今年度中に十分に達成できなかった。
(i)今年度は27年度計画を繰り越して叫び声コーパスの収録を実施したが、収録および基本的なコーパス整備が遅れている。このため、叫び声の音声学的分析に至らなかった。
(ii)Affect burst音声の知覚実験について、合成笑い声を使った実験は実施したが、自然音声を使った実験の良い方策が見つからなかった。
(iii)感情表出系感動詞の合成については、モデル化の方法に問題があり、高品質な合成音声が得られなかった。
|
| Strategy for Future Research Activity |
叫び声コーパスは、分析に必要な整備を急ピッチで進めることとする。
感情表出系感動詞の合成については、言語音とは別個にモデル化すること、および連結学習の工程を経ないで学習することで、高品質な音声を合成できることを確認している。次年度は、少ないデータからでもバリエーションを表現することができるコンテキストを定義し、種々の合成音に対し知覚実験を行う予定である。
|
| Causes of Carryover |
叫び声コーパスの収録が遅れ、アノテーション作業が次年度に持ち越しとなったため。
|
| Expenditure Plan for Carryover Budget |
最終年度であるので、アノテーション、計算資源の拡充、知覚実験を同時並行的に進め、当初の研究目的を達成するよう努める。
|
