| 研究課題/領域番号 |
21K11963
|
|---|
| 研究種目 |
基盤研究(C)
|
| 配分区分 | 基金 |
|---|
| 応募区分 | 一般 |
|---|
| 審査区分 |
小区分61010:知覚情報処理関連
|
|---|
| 研究機関 | 岡山大学 |
|---|
研究代表者 |
阿部 匡伸 岡山大学, ヘルスシステム統合科学学域, 教授 (70595470)
|
|---|
| 研究分担者 |
原 直 岡山大学, ヘルスシステム統合科学学域, 助教 (50402467)
|
|---|
| 研究期間 (年度) |
2021-04-01 – 2024-03-31
|
| 研究課題ステータス |
完了 (2023年度)
|
| 配分額 *注記 |
4,160千円 (直接経費: 3,200千円、間接経費: 960千円)
2023年度: 910千円 (直接経費: 700千円、間接経費: 210千円)
2022年度: 1,170千円 (直接経費: 900千円、間接経費: 270千円)
2021年度: 2,080千円 (直接経費: 1,600千円、間接経費: 480千円)
|
|---|
| キーワード | 感情音声 / 話者性 / DNN / WaveNet / x-vector / 音声合成 / 深層学習 / マルチモダル |
|---|
| 研究開始時の研究の概要 |
音声対話システムの合成音声出力として、より自然な応答を実現するために多様な感情表現を可能とするとともに話者性を自由度高く表現できる音声合成方式の確立を目指す。研究のポイントはWaveNetをベースとする音声生成過程を考慮しない新しいDNNの音声信号生成法の検討にあり、検討項目は①非言語情報の表現モデル、②知識蒸留（Knowledge Distillation）の発想に基づく少量データに基づく学習、③音声対話システムにおける有効性の検証である。
|
| 研究実績の概要 |
研究計画調書に記載した課題に関して，令和５年度（２０２３年度）に実施した内容は下記の通り。
（課題２）少量データによる学習方式 「②-２学習データ量と性能の検討」について、参照音声データから抽出した話者特徴と感情特徴を用いて、合成音声の多様性を制御する方式を検討した。100人程度の音声を利用して学習した結果、学習データに類似した話者性や感情性が含まれている場合には、所望の品質の合成音が得られるものの、学習内には含まれない話者性や感情性は実現することは困難であった。一方、40秒程度の音声によりモデルをチューニングすることによって、所望の品質が得られることが明らかとなった。この結果から、利用するタスクで必要となる合成音声の話者や感情性が事前に設定できる場合には、あらかじめ必要なデータを収集しておけばよいと言える。また、事前に不明である場合には、新たに必要となる話者性、感情性のデータを40秒程度収集することで、事後に対処することが可能であると言える。
（課題３）音声対話システムへの応用 「音声対話タスクの検討」について、２０２２年度の課題２で検討した「X-vectorを利用して感情強度を制御する方式」を利用して、生徒と教師の対話タスクを評価した。今年度は、感情種類に加えて、感情の強弱の表現性能も評価した。また、X-vectorを利用する方法に加えて、感情認識結果を利用して感情表現する合成方式も開発し、両者の性能を比較評価した。評価実験の結果、X-vectorを利用した方式の方が性能が良いことが明らかとなった。
|
