多様な声質を実現する音声合成のための自動ボイスビルダー

2003 Fiscal Year Annual Research Report

• Project/Area Number: 14380160
• Research Institution: Nagoya Institute of Technology
• Principal Investigator: 徳田 恵一 名古屋工業大学, 工学研究科, 助教授 (20217483)
• Co-Investigator(Kenkyū-buntansha): 益子 貴史 東京工業大学, 大学院・総合理工学研究科, 助手 (90272715) ; 小林 隆夫 東京工業大学, 大学院・総合理工学研究科, 教授 (70153616) ; 北村 正 名古屋工業大学, 工学研究科, 教授 (60114865)
• Keywords: 音声合成 / 声質 / 感情音声 / HMM音声合成 / ラベリング / 自動ボイスビルディング / PLEd

Research Abstract

アクセント,品詞,活用形,活用形,文構造,読み,発音,更には,単語に対するフォーカス,発話様式など,音声データに付与すべき情報は複数あり,それらはお互いに何らかの相互関係をもっているため,独立に取り扱った場合には,データの不整合を引き起こし,人手でこれを修復することは困難となる.また,言語情報ファイルの編集作業が,大量の音声データを学習に投入するための障害となっていた.この問題を解決するためには,このようなラベリング作業を効率的に行う手法とそのためのソフトウェアツールの開発を平成14年度に行った.本年度においては,更にラベリング自体を人手を介さず自動的に行うことを目指し,以下の研究を行った.
・前年度開発したラベリングツールにより音声データラベル付けを行った.
・ラベル付けされた音声データを用いて音声合成用の統計モデルを学習した.
・得られたモデルに基づいて音声合成を行い,適切なラベル付けが行われていることを確認した.
・学習した統計モデルを用いて,新たな音声データに自動ラベル付けを行う手法を開発した.
・自動ラベリングされた音声データベースを用いて,音声合成システムを構築し,音質評価法に関する検討を行った.
なお,研究全体を通して,英語音声におけるラベリングに明るいA.W.Black博士を海外共同研究者として加えることにより,英語音声用ラベル編集ツールの開発を通して得られた知見,問題点に基づいた提言を得ることができた.

Research Products

• [Publications] 全 炳河, 徳田恵一, 北村 正: "決定木に基づく音素コンテキスト・次元・状態位置の同時クラスタリングによる音響モデリング"電子情報通信学会論文誌(D-II). (coditionally accepted).
• [Publications] 酒向慎司, 宮島千代美, 徳田恵一, 北村 正: "隠れマルコフモデルに基づいた歌声合成システム"情報処理学会論文誌. vol.45, no.3(accepted). (2004)
• [Publications] 吉村貴克, 徳田恵一, 益子貴史, 小林隆夫, 北村正: "HMMに基づくテキスト音声合成への混合励振源モデルとポストフィルタの導入"電子情報通信学会論文誌(D-II). (accepted).
• [Publications] Junichi Yamagishi, M.Tamura, T.Masuko, K.Tokuda, T.Kobayashi: "A training method of average voice model for HMM-based speech synthesis"IEICE Trans.FundaMentals of Electronics, Communications and Computer Sciences. E86-A, vol.8. 1956-1963 (2003)
• [Publications] 小林隆夫, 徳田恵一: "講座 コーパスベース音声合成技術の動向[IV]---HMM音声合成方式---"電子情報通信学会誌 April 2004. (予定). (2004)
• [Publications] Heiga Zen, Keiichi Tokuda, Tadashi Kitamura: "A Viterbi algorithm for a trajectory model derived from HMM with explicit relationship"Proceedings of 2004 IEEE International Conference on Acoustics, Speech, and Signal. (to appear). (2004)
• [Publications] Heiga Zen, Keiichi Tokuda, Tadashi Kitamura: "Decision Tree-based Simultaneous Clustering of Phonetic Contexts, Dimensions, and State Positions for Acoustic Modeling"Proceedings of European Conference on Speech Communication and Technology. 3189-3192 (2003)
• [Publications] Ranniery da Silva Maia, Heiga Zen, Keiichi Tokuda, Tadashi Kitamura, Fernando Gil Vianna Resende Junior: "Towards the development of a Brazilian Portuguese text-to-speech system based on HMM"Proceedings of European Conference on Speech Communication and Technology. 2465-2468 (2003)
• [Publications] Keiichi Tokuda, Heiga Zen, Tadashi Kitamura: "A trajectory model derived from HMMs imposing explicit relationship between static and dynamic features"Proceedings of European Conference on Speech Communication and Technology. 3189-3192 (2003)
• [Publications] unichi Yamagishi, Takashi Masuko, Keiichi Tokuda, Takao Kobayashi: "A training method for average voice model based on shared decision tree context clustering and speaker adaptive training"Proceedings of IEEE International Conference on Acoustics, Speech, and Signal Processing (ICASSP). vol.1. 716-719 (2003)
• [Publications] 嵯峨山茂樹, 伊藤克亘, 宇津呂武仁, 甲斐充彦, 小林隆夫, 下平 博, 伝康晴, 徳田恵一, 中村哲, 西本卓也, 新田恒雄, 広瀬啓吉, 峯松信明, 森島繁生, 山下洋一, 山田篤, 李晃伸: "擬人化音声対話エージェント基本ソフトウェアの開発プロジェクト報告"情報処理学会研究報告「音声言語情報処理」. vol.2003, no.049. (2003)
• [Publications] 全 炳河, 徳田 恵一, 北村 正: "静的・動的特徴の明示的な関係によりHMMから導出されるトラジェクトリモデル"電子情報通信学会技術研究報告. vol.103, no.519. 55-60 (2003)
• [Publications] 酒向 慎司, 宮島 千代美, 徳田 恵一, 北村 正: "隠れマルコフモデルに基づいた歌声合成"情報処理学会研究会. vol.MUS-51, no.13. 77-82 (2003)
• [Publications] 片岡俊介, 水谷伸晃, 徳田恵一, 北村 正: "決定木のバックオフに基づくHMM音声合成"電子情報通信学会技術研究報告. vol.103, no.264. 13-18 (2003)
• [Publications] 南角吉彦, 全 炳河, 徳田恵一, 北村 正, 益子貴史: "ベイズ的アプローチに基づくHMM音声合成"電子情報通信学会技術研究報告. vol.103, no.264, SP2003-77. 19-24 (2003)
• [Publications] 都築亮介, 全 炳河, 徳田恵一, 北村 正: "HMM音声合成における感情表現のモデル化"電子情報通信学会技術研究報告. vol.103, no.264. 25-30 (2003)
• [Publications] 山岸順一, 益子貴史, 徳田恵一, 小林隆夫: "HMM音声合成におけるコンテキストクラスタリング決定木を用いた話者適応の検討"電子情報通信学会技術研究報告. vol.103, no.264, SP2003-79. 31-36 (2003)
• [Publications] 全 炳河, 徳田恵一, 北村正: "決定木に基づく音素コンテキスト・次元・状態位置の同時クラスタリングによる音響モデリング"電子情報通信学会技術研究報告. vol.SP2003, no.6. 31-36 (2003)
• [Publications] 全 炳河, 徳田恵一, 益子貴史, 小林隆夫, 北村 正: "HMM音声合成のための継続長分布付き再推定"日本音響学会2003年秋季研究発表会講演論文集. (to appear). (2004)
• [Publications] 岡坂ひろみ, 都築亮介, 徳田恵一, 北村 正: "HMM音声合成における感情ラベリングに関する検討"日本音響学会2003年秋季研究発表会講演論文集. (to appear). (2004)
• [Publications] 都築亮介, 全 炳河, 徳田恵一, 北村 正, Murtaza Bulut, Shrikanth S.Narayanan: "主観評価に基づくHMM感情音声合成"日本音響学会2003年秋季研究発表会講演論文集. (to appear). (2004)
• [Publications] Ranniery Maia, Heiga Zen, Keiichi Tokuda, Tadashi Kitamura, Fernando Gil Resende: "Influence of part-of-speech tagging, syllabication, and stress on HMM-based Brazilian Portuguese speech synthesis"日本音響学会2003年秋季研究発表会講演論文集. (to appear). (2004)
• [Publications] 南角吉彦, 全 炳河, 徳田恵一, 北村正, 益子貴史: "変分ベイスHMMに基づく音声合成"日本音響学会2003年秋季研究発表会講演論文集. vol.I, 1-8-13. 207-208 (2003)
• [Publications] 益子貴史, 徳田恵一, 小林隆夫: "HMMからの尤度最大基準に基づく条件つきパラメータ生成の検討"日本音響学会2003年秋季研究発表会講演論文集. vol.I, 1-8-14. 209-210 (2003)
• [Publications] 片岡俊介, 徳田恵一, 北村正: "音声合成におけるFO決定木バックオフの検証"日本音響学会2003年秋季研究発表会講演論文集. vol.I, 1-8-15. 211-212 (2003)
• [Publications] 山岸順一, 益子貴史, 小林隆夫, 徳田恵一: "コンテキストクラスタリング決定木を用いた話者適応の検討"日本音響学会2003年秋季研究発表会講演論文集. vol.I, 1-8-16. 213-214 (2003)
• [Publications] Ranniery da S.Maia, Heiga Zen, Keiichi Tokuda, Tadashi Kitaimura, Fernando G.V.Resende, Jr.: "The application of HMM-based speech synthesis to Brazilian Portuguese"日本音響学会2003年秋季研究発表会講演論文集. vol.I, 1-8-17. 215-216 (2003)
• [Publications] 江本喜久男, 全炳河, 徳田恵一, 北村正: "自動韻律ラベリングのためのアクセント型認識"日本音響学会2003年秋季研究発表会講演論文集. vol.I, 1-8-22. 225-226 (2003)
• [Publications] 都築亮介, 全炳河, 徳田恵一, 北村正, Murtaza Bulut, Shrikanth S.Narayanan: "HMMに基づく感情音声合成に関する検討"日本音響学会2003年秋季研究発表会講演論文集. vol.I, 1-8-30. 241-242 (2003)
• [Publications] 全炳河, 徳田恵一, 北村正: "トラジェクトリHMMのためのViterbiアルゴリズム"日本音響学会2003年秋季研究発表会講演論文集. vol.I, 2-6-3. 65-66 (2003)