2018 Fiscal Year Research-status Report
Articulatory text-to-speech synthesis based on digital waveguide mesh driven by deep neural network
| Project/Area Number |
17K20004
|
|---|
| Research Institution | Nagoya Institute of Technology |
|---|
Principal Investigator |
徳田 恵一 名古屋工業大学, 工学(系)研究科(研究院), 教授 (20217483)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
南角 吉彦 名古屋工業大学, 工学(系)研究科(研究院), 准教授 (80397497)
|
|---|
| Project Period (FY) |
2017-06-30 – 2020-03-31
|
| Keywords | 音声合成 / 音声情報処理 |
|---|
| Outline of Annual Research Achievements |
本研究の目的は、あらゆる声質を柔軟に表現可能な音声合成システムを構築するため、実際の人間の発声機構に則した調音モデルをテキスト音声合成システムに組み込み、その有用性を検証することにある。申請者はこれまでに、ディープニューラルネットワークの枠組みの中で2次元ディジタル・ウェーブガイド・メッシュ調音モデルを定式化し、調音モデルをテキスト音声合成システムに組み込むアイディアを数式として表現した。さらに、導出した数式をもとに調音モデルを組み込んだテキスト音声合成システムを構築することに成功した。しかし、音声波形から調音モデルを逆推定するための実現可能性の検証を重視していたため、 シンプルなモデル構造を仮定していた。このため、調音モデルを組み込んだテキスト音声合成システムから生成される音声の品質には改善の余地があった。そこで、WaveNetを始めとする最新の音声波形生成手法との融合を検討し、より自然な音声の生成に取り組んだ。当該年度はWaveNetを用いた音声波形生成において音声の周期・非周期信号の特性の違いを考慮することで、より高品質な合成音声を生成可能とした。
さらに、合成音声の声質や感情の制御の検討を行った。ディープニューラルネットワークに基づく音響モデルの入力に話者コードやフレーズコードなどを加えることで、声質や感情を制御可能な音声合成が実現された。従来は話者や発話スタイルなどの大きな分類での制御のみが対象とされてきたが、フレーズコードを導入することでフレーズ単位に細かな制御を加えることが可能となった。さらに敵対的学習などの学習手法を適用することで、より高品質な合成音声を生成可能とした。
|
| Current Status of Research Progress |
Current Status of Research Progress
1: Research has progressed more than it was originally planned.
Reason
申請者らはこれまでに、調音モデルを組み込んだテキスト音声合成システムを実際に構築してきた。さらに当該年度は音声波形生成手法による合成音声の高品質化や声質の制御が可能なモデルの検討を行っており、進捗状況としては当初の計画以上に進展しているものと言える。
|
| Strategy for Future Research Activity |
本研究の目的は、あらゆる声質を柔軟に表現可能な音声合成システムを構築するため、実際の人間の発声機構に則した調音モデルをテキスト音声合成システムに組み込み、その有用性を検証することにある。申請者はこれまでに、ディープニューラルネットワークの枠組みを利用し、調音モデルを組み込んだテキスト音声合成システムを構築してきた。さらに、WaveNetを始めとする最新の音声波形生成手法との融合を検討し、より自然な音声の生成に取り組んできた。近年、様々な音声波形生成手法が提案されており、非常に高品質な合成音声の生成が可能となった。これらの音声波形生成手法において、音声波形モデルは調音モデルの構造を部分的に含んでいると考えられる。そこで、今後は調音モデルと音声波形モデルの関係性の調査と調音モデルと音声波形モデルの融合に取り組む。さらに、合成音声の声質や感情の制御手法について引き続き検討を行い、あらゆる声質を自由自在に表現可能な音声モデルの構築に取り組む。
|
| Causes of Carryover |
物品の購入を予定していたが、既存のものを有効活用することで今年度購入する必要がなくなったため。翌年度分と合わせてモデル学習用GPU計算機などの物品費、成果発表のための旅費として使用する。
|
