生成過程モデルに基づく表現力豊かな多言語音声合成とそれによる音声自動翻訳

2011 年度 研究成果報告書

• 研究課題/領域番号: 21300061
• 研究種目: 基盤研究(B)
• 配分区分: 補助金
• 応募区分: 一般
• 研究分野: 知覚情報処理・知能ロボティクス
• 研究機関: 東京大学
• 研究代表者: 広瀬 啓吉 東京大学, 大学院・情報理工学系研究科, 教授 (50111472)
• 研究分担者: 峯松 信明 東京大学, 情報理工学系研究科, 准教授 (90273333)
• 連携研究者: 河合 剛 北海道大学, メディア・コミュニケーション研究院, 准教授 (70312981)
• 研究期間 (年度): 2009 – 2011
• キーワード: 生成過程モデル / 基本周波数パターン / コーパスベース韻律制御 / 音声自動翻訳 / 談話焦点 / HMM音声合成 / 声質と調子 / 音声モーフィング

研究概要

基本周波数パターン生成過程モデル(F_0モデル)の枠組みで、多言語の韻律制御の研究を統合的に進め、F_0モデルの指令の差分に着目した韻律の適応手法を開発し、焦点制御、調子の変換、話者変換を実現した。さらに、学習音声コーパスF_0パターンあるいは生成されるF_0パターンのF_0モデル近似を行い、HMM音声合成の品質向上を達成するとともに、焦点付与を達成した。成果に立脚し、談話・意図を再現する音声翻訳の実験を行った。

研究成果

• [雑誌論文] A method for generation of Mandarin F_0 contours based on tone nucleus model and superpositional model (2012)
  • 著者名/発表者名: Qinghua Sun, Keikichi Hirose, and Nobuaki Minematsu
  • 雑誌名: Speech Communication 巻: Vol.54, Issue 8 ページ: 932-945
  • URL: http://www.sciencedirect.com/science/journal/01676393
  • 査読あり
• [雑誌論文] HMM-based F_0 contour synthesis using the generation process model (2012)
  • 著者名/発表者名: Tatsuya Matsuda, Keikichi Hirose, and Nobuaki Minematsu
  • 雑誌名: Acoustical Science and Technology, Acoustical Society of Japan
  • URL: https://www.jstage.jst.go.jp/browse/ast/33/0/_contents,http://journals.acoustics.jp/ast-archive/
  • 査読あり
• [雑誌論文] Improvement of prosody in HMM-based speech synthesis using generation process model (2011)
  • 著者名/発表者名: Miaomiao Wang, Keikichi Hirose, and Nobuaki Minematsu
  • 雑誌名: Journal of Signal Processing 巻: vol.15, no.4 ページ: 279-282
  • URL: http://www.risp.jp/Product.html
  • 査読あり
• [雑誌論文] HMM-based synthesis of fundamental frequency contours using the generation process model (2010)
  • 著者名/発表者名: Tetsuya Matsuda, Keikichi Hirose and Nobuaki Minematsu
  • 雑誌名: Journal of Signal Processing 巻: vol.14, no.4 ページ: 277-280
  • URL: http://www.risp.jp/Product.html
  • 査読あり
• [学会発表] Improved automatic extraction of generation process model commands and its use for generating fundamental frequency contours for training HMM-based speech synthesis (2012)
  • 著者名/発表者名: Hiroya Hashimoto, Keikichi Hirose, and Nobuaki Minematsu
  • 学会等名: Proceedings INTERSPEECH
  • 発表場所: Portland
  • 年月日: 20120909-13
• [学会発表] Emotional voice conversion for mandarin using tone nucleus model-small corpus and high efficiency (2012)
  • 著者名/発表者名: Miaomiao Wang, Miaomiao Wen, Keikichi Hirose, and Nobuaki Minematsu
  • 学会等名: Proceedings of International Conference on Speech Prosody
  • 発表場所: Shanghai
  • 年月日: 20120522-25
• [学会発表] Fundamental frequency contour reshaping in HMM-based speech synthesis and realization of prosodic focus using generation process model (2012)
  • 著者名/発表者名: Keikichi Hirose, Hiroya Hashimoto, Jun Ikeshima, and Nobuaki Minematsu
  • 学会等名: Proceedings of International Conference on Speech Prosody
  • 発表場所: Shanghai
  • 年月日: 20120522-25
• [学会発表] Fundamental frequency contour generation process model for improved and flexible control of prosodic features in hmm-based speech synthesis (2012)
  • 著者名/発表者名: Keikichi Hirose
  • 学会等名: Proceedings of International Symposium on Frontiers of Research on Speech and Music
  • 発表場所: Gurgaon
  • 年月日: 20120118-20
• [学会発表] Representing fundamental frequency contours generated by hmm-based speech synthesis using generation process model (2011)
  • 著者名/発表者名: Keikichi Hirose, Tatsuya Matsuda, Hiroya Hashimoto, and Nobuaki Minematsu
  • 学会等名: Proceedings of IEEE International Workshop on Machine Learning for Signal Processing
  • 発表場所: Beijing
  • 年月日: 20110918-21
• [学会発表] Adaptation of prosody in speech synthesis by changing command values of the generation process model of fundamental frequency (2011)
  • 著者名/発表者名: Keikichi Hirose, Keiko Ochi, Ryusuke Mihara, Hiroya Hashimoto, Daisuke Saito, and Nobuaki Minematsu
  • 学会等名: Proceedings INTERSPEECH
  • 発表場所: Florence
  • 年月日: 20110828-31
• [学会発表] Prosody conversion for emotional Mandarin speech synthesis using the tone nucleus model (2011)
  • 著者名/発表者名: Miaomiao Wen, Miaomiao Wang, Keikichi Hirose, and Nobuaki Minematsu
  • 学会等名: Proceedings INTERSPEECH
  • 発表場所: Florence
  • 年月日: 20110828-31
• [学会発表] Analysis and Synthesis of F_0 Contours for Bangla Readout Speech (2010)
  • 著者名/発表者名: Shyamal Das Mandal, Anal Haque Warsi, Tulika Basu, Keikichi Hirose, and Hiroya Fujisaki
  • 学会等名: Proceedings Oriental COCOSDA
  • 発表場所: Kathmandu
  • 年月日: 20101124-25
• [学会発表] Control of prosodic features in corpus-based generation of fundamental frequency contours based on the generation process model (2010)
  • 著者名/発表者名: Keikichi Hirose, Keiko Ochi, and Nobuaki Minematsu
  • 学会等名: Proceedings IEEE International Conference on Signal Processing
  • 発表場所: Beijing
  • 年月日: 20101000
• [学会発表] Improved generation of fundamental frequency in HMM-based speech synthesis using generation process model (2010)
  • 著者名/発表者名: Miaomiao Wang, Miaomiao Wen, Keikichi Hirose, and Nobuaki Minematsu
  • 学会等名: Proceedings INTERSPEECH
  • 発表場所: Makuhari
  • 年月日: 20100926-30
• [学会発表] Using F_0 contour generation process model for improved and flexible control of prosodic features in HMM-based speech synthesis (2010)
  • 著者名/発表者名: Keikichi Hirose, Keiko Ochi, Miaomiao Wang, Tatsuya Matsuda, Miaomiao Wen, and Nobuaki Minematsu
  • 学会等名: Proceedings of 21^<st> Conference on Electronic Speech Signal Processing
  • 発表場所: Berlin
  • 年月日: 20100908-10
• [学会発表] Generation of fundamental frequency in HMM-based TTS using generation process model (2010)
  • 著者名/発表者名: Miaomiao Wang, Keikichi Hirose, and Nobuaki Minematsu
  • 学会等名: Proceedings of International Conference on Speech Prosody
  • 発表場所: Chicago
  • 年月日: 20100511-14
• [学会発表] Control of prosodic focus in corpus-based generation of fundamental frequency contours of Japanese based on the generation process model (2009)
  • 著者名/発表者名: Keiko Ochi, Keikichi Hirose, and Nobuaki Minematsu
  • 学会等名: Proceedings of IEEE International Conference on Acoustics, Speech and Signal Processing
  • 発表場所: Taipei
  • 年月日: 20090420-24
• [図書] Prosodic corpora based on F_0 contour generation model and automatic extraction of model parameters (2010)
  • 著者名/発表者名: Keikichi Hirose
  • 総ページ数: 180-183
  • 出版者: Computer Processing of Asian Spoken languages
• [図書] On the prosodic features for emotional speech (2009)
  • 著者名/発表者名: Keikichi Hirose, Qinghua Sun
  • 総ページ数: 263-274
  • 出版者: Frontiers in Phonetics and Speech Science
• [備考] (研究業績)
  • URL: http://www.gavo.t.u-tokyo.ac.jp/~hirose/cv/curriculumvitae.pdf