2017 Fiscal Year Research-status Report
調音運動HMMとLSPデジタルフィルタを用いた音声合成
| Project/Area Number |
16K00234
|
|---|
| Research Institution | Tokyo University of Science |
|---|
Principal Investigator |
桂田 浩一 東京理科大学, 理工学部情報科学科, 准教授 (80324490)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
新田 恒雄 早稲田大学, グリーン・コンピューティング・システム研究機構, その他(招聘研究員) (70314101)
牧野 武彦 中央大学, 経済学部, 教授 (00269482)
金澤 靖 豊橋技術科学大学, 工学(系)研究科(研究院), 准教授 (50214432) [Withdrawn]
|
|---|
| Project Period (FY) |
2016-04-01 – 2019-03-31
|
| Keywords | 調音運動 / コーパス作成 / 音声合成 / IPAラベリング |
|---|
| Outline of Annual Research Achievements |
平成29年度は，調音運動を利用した音声合成システムを開発するための基盤として，調音運動コーパスの整備に取り組んだ．調音運動コーパスは音声データ，調音運動，IPA(International Phonetic Alphabet)ラベルから成り立っている．本年度は九州大学の鏑木教授，若宮助教の協力の下，アナウンサー1名の音声データを収録すると共に，EMA(ElectroMagnetic Articulography)を用いた調音運動の収録を同時に行った．調音運動の測定箇所は，上唇，下唇，下顎，舌尖，中舌，舌体の計6カ所であり，これは先行の調音運動データベースであるmngu0と同様である．収録の内容はATR音素バランス文503文，および英語発話23文であり，特定の音素に偏ったコーパスにならないよう工夫している．今後は収録した音声に対するIPAラベリングを進める予定である．
また，調音運動の収録と平行に，音声合成システムの基盤となる調音運動‐音響特徴マッピングシステム（調音運動から合成音を推定するためのシステム）を試作した．このシステムにより，調音運動を音響パラメータに変換することが可能になることから，音声合成システムの基盤が整備できたと言える．このシステムではモデルとしてLSTMを用いることにより，共に時系列データである調音運動と音響特徴量の対応関係が適切にモデル化されるようにしている．予備的な実験の結果，今回開発したLSTMを用いた手法はRNNを用いた手法と比較して，高品質な合成音が生成されることを確認した．
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
研究代表者は昨年度に大学を異動したため，昨年度に研究の計画を若干修正した．具体的には，高品質な音声合成システムの開発を中心にした研究から，音声合成システム開発の基盤となる調音運動コーパスの収録と整備に重心を移した．新たな大学での研究体制はまだ十分に整っていないため，学会発表等の研究業績については十分に成果を出せていないが，調音運動コーパスの収録と整備は順調に進んでいる．平成29年度は当初の研究目標であった，プロのアナウンサーを対象とする調音運動と音声の収録を行うことができ，研究は順調に進展していると言える．
|
| Strategy for Future Research Activity |
平成29年度はアナウンサーを被験者として調音運動と音声の収録を行った．平成30年度は中央大学の牧野教授と協力して，当該収録音声に対するIPAラベリングを行う予定である．これまで公開されている調音運動コーパスでは，音声認識による機械的なIPAラベリングを行った物はあるが，音声学者によって手動でIPAラベリングを行ったコーパスは少ない．特に，日本語ではこれまでに存在しない．IPAラベリングを行った調音運動コーパスの作成によって，より人間の発音動作に近い仕組みでの音声合成が可能になることから，品質の向上だけでなく，人間ならではの音声変換（例えば，多言語のネイティブ並みの発音や，特定の調音器官の阻害など）を行うための基盤として用いることが可能になる．
平成30年度には，九州大学の鏑木教授，および若宮助教と協力して，更に複数のアナウンサーの音声を収録すると共に，中央大学の牧野教授と協力して，それらに対するIPAラベリングも進めたい．また，このコーパスを用いた音声合成システムについても試作を継続し，最終的な音声合成システムの構築に向けた基盤整備を進めたい．
|
| Causes of Carryover |
今年度は国際会議，国内会議への参加旅費の一部を他の予算から支出したため，予定より少ない支出となった．来年度はアナウンサーへの謝金等に多くの予算を利用する予定である．
|
