多様で肉声感の高い音声生成のための素片正規化に基づくハイブリッド音声合成の研究

• 研究課題/領域番号: 25730106
• 研究種目: 若手研究(B)
• 配分区分: 基金
• 研究分野: 知覚情報処理
• 研究機関: 東北大学
• 研究代表者: 能勢 隆 東北大学, 工学(系)研究科(研究院), 講師 (90550591)
• 研究期間 (年度): 2013-04-01 – 2015-03-31
• 研究課題ステータス: 完了 (2014年度)
• 配分額: 4,160千円 (直接経費: 3,200千円、間接経費: 960千円); 2014年度: 2,080千円 (直接経費: 1,600千円、間接経費: 480千円); 2013年度: 2,080千円 (直接経費: 1,600千円、間接経費: 480千円)
• キーワード: 統計的音声合成 / 非言語情報 / パラ言語情報 / 韻律 / 多言語 / 歌声合成 / パラメータ生成 / 隠れマルコフモデル / ガウス過程回帰 / 重回帰隠れセミマルコフモデル / 強調表現 / 音声合成 / ハイブリッド / 高品質 / 多様化

研究成果の概要

本研究は，任意の話者の限られた音声データのみで「人間に近い肉声感」をもち，かつ様々な感情や発話様式を表現可能なハイブリッド型の音声合成方式を確立することを目的として研究を行い，以下の6つの項目について成果が得られた．(1)非言語情報やパラ言語情報を柔軟に再現・制御可能とする，(2)韻律の多様性を自動学習する，(3)多言語の音声合成への拡張を行う，(4)音声だけでなく歌声への応用についても検討する，(5)このような音声コーパスを効率的に構築する方法を確立する，(6)従来のパラメータ生成法を改善し主観品質を向上する，

研究成果

• [雑誌論文] Prosodic variation enhancement using unsupervised context labeling for HMM-based expressive speech synthesis (2014)
  • 著者名/発表者名: Yu Maeno, Takashi Nose, Takao Kobayashi, Tomoki Koriyama, Yusuke Ijima, Hideharu Nakajima, Hideyuki Mizuno, Osamu Yoshioka
  • 雑誌名: Speech Communication 巻: Vol.57 ページ: 144-154
  • DOI: 10.1016/j.specom.2013.09.014
  • 査読あり
• [雑誌論文] A parameter generation algorithm using local variance for HMM-based speech synthesis (2014)
  • 著者名/発表者名: Takashi Nose, Vataya Chunwijitra, Takao Kobayashi
  • 雑誌名: IEEE Journal of Selected Topics in Signal Processing 巻: 8 号: 2 ページ: 221-228
  • DOI: 10.1109/jstsp.2013.2283459
  • 査読あり / 謝辞記載あり
• [雑誌論文] Statistical Parametric Speech Synthesis Based on Gaussian Process Regression (2014)
  • 著者名/発表者名: Tomoki Koriyama, Takashi Nose, Takao Kobayashi
  • 雑誌名: IEEE Journal of Selected Topics in Signal Processing 巻: 8 号: 2 ページ: 173-183
  • DOI: 10.1109/jstsp.2013.2283461
  • 査読あり / 謝辞記載あり
• [雑誌論文] 系列内変動を考慮したガウス過程回帰に基づく音声パラメータ生成 (2014)
  • 著者名/発表者名: 郡山知樹,能勢 隆,小林隆夫
  • 雑誌名: 日本音響学会2014年春季研究発表会講演論文集 巻: 1 ページ: 355-356
  • NAID: 120006702995
  • 謝辞記載あり
• [雑誌論文] ガウス過程回帰に基づく音声合成におけるハイパーパラメータ最適化の検討 (2014)
  • 著者名/発表者名: 郡山智樹,能勢 隆,小林隆夫
  • 雑誌名: 電子情報通信学会技術研究報告 巻: 113 ページ: 19-24
  • 謝辞記載あり
• [雑誌論文] Parametric speech synthesis based on Gaussian process regression using global variance and hyperparameter optimization (2014)
  • 著者名/発表者名: Tomoki Koriyama, Takashi Nose, Takao Kobayashi
  • 雑誌名: Proceedings of 2014 IEEE International Conference on Acoustics, Speech, and Signal Processing 巻: 1 ページ: 3862-3866
  • NAID: 120006703288
  • 査読あり / 謝辞記載あり
• [雑誌論文] ガウス過程回帰に基づくF0パタン生成の検討 (2014)
  • 著者名/発表者名: 郡山知樹,能勢隆,小林隆夫
  • 雑誌名: 日本音響学会2014年秋季研究発表会講演論文集 巻: 1 ページ: 247-248
  • NAID: 120006703360
  • 謝辞記載あり
• [雑誌論文] Parametric speech synthesis using local and global sparse Gaussian processes (2014)
  • 著者名/発表者名: Tomoki Koriyama, Takashi Nose, Takao Kobayashi
  • 雑誌名: Proceedings of 24th IEEE International Workshop on Machine Learning for Signal Processing 巻: 1 ページ: 1-6
  • NAID: 120006703336
  • 査読あり / 謝辞記載あり
• [雑誌論文] 共有決定木を利用した話者適応に基づくクロスリンガル音声合成の評価 (2014)
  • 著者名/発表者名: 長濱大樹, 能勢 隆, 郡山知樹, 小林隆夫
  • 雑誌名: 日本音響学会2014年春季研究発表会講演論文集 巻: vol.1 ページ: 413-414
• [雑誌論文] 音声合成のための音韻・韻律コンテキストを考慮した文選択アルゴリズムの評価 (2014)
  • 著者名/発表者名: 荒生侑介, 能勢 隆, 郡山知樹, 篠崎隆宏, 小林隆夫
  • 雑誌名: 日本音響学会2014年春季研究発表会講演論文集 巻: vol.1 ページ: 405-406
• [雑誌論文] Speaker-independent style conversion for HMM-based expressive speech synthesis (2013)
  • 著者名/発表者名: Hiroki Kanagawa, Takashi Nose, Takao Kobayashi
  • 雑誌名: Proc. 2013 IEEE International Conference on Acoustics, Speech, and Signal Processing, ICASSP 2013 巻: vol.1 ページ: 7864-7867
  • 査読あり
• [雑誌論文] HMM-based expressive speech synthesis based on phrase-level F0 context labeling (2013)
  • 著者名/発表者名: Yu Maeno, Takashi Nose, Takao Kobayashi, Tomoki Koriyama, Yusuke Ijima, Hideharu Nakajima, Hideyuki Mizuno, Osamu Yoshioka
  • 雑誌名: Proc. 2013 IEEE International Conference on Acoustics, Speech, and Signal Processing, ICASSP 2013 巻: vol.1 ページ: 7859-7863
  • 査読あり
• [雑誌論文] A style control technique for singing voice synthesis based on multiple-regression HSMM (2013)
  • 著者名/発表者名: Takashi Nose, Misa Kanemoto, Tomoki Koriyama, Takao Kobayashi
  • 雑誌名: Proc. 14th Annual Conference of the International Speech Communication Association, INTERSPEECH 2013 巻: vol.1 ページ: 378-382
  • 査読あり
• [雑誌論文] 複数ドメインコーパスからの文選択に基づくキャラクター音声合成の検討 (2013)
  • 著者名/発表者名: 荒生侑介, 能勢 隆, 篠崎隆宏, 小林隆夫
  • 雑誌名: 日本音響学会2013年秋季研究発表会講演論文集 巻: vol.1 ページ: 351-352
• [学会発表] ガウス過程回帰に基づくF0パタン生成の検討 (2014)
  • 著者名/発表者名: 郡山知樹
  • 学会等名: 日本音響学会2014年秋季研究発表会
  • 発表場所: 北海学園大学（北海道・札幌市）
  • 年月日: 2014-09-02
• [学会発表] Singing style control for HMM-based expressive singing voice synthesis (2014)
  • 著者名/発表者名: Takashi Nose
  • 学会等名: The 7th seminar of A3 foresight program
  • 発表場所: Seoul National University（Korea）
  • 年月日: 2014-05-26
• [学会発表] Speaker-independent style conversion for HMM-based expressive speech synthesis
  • 著者名/発表者名: Hiroki Kanagawa
  • 学会等名: 2013 IEEE International Conference on Acoustics, Speech, and Signal Processing, ICASSP 2013
  • 発表場所: Vancouver, Canada
• [学会発表] HMM-based expressive speech synthesis based on phrase-level F0 context labeling
  • 著者名/発表者名: Yu Maeno
  • 学会等名: 2013 IEEE International Conference on Acoustics, Speech, and Signal Processing, ICASSP 2013
  • 発表場所: Vancouver, Canada
• [学会発表] A style control technique for singing voice synthesis based on multiple-regression HSMM
  • 著者名/発表者名: Takashi Nose
  • 学会等名: 14th Annual Conference of the International Speech Communication Association, INTERSPEECH 2013
  • 発表場所: Lyon, France
• [学会発表] 複数ドメインコーパスからの文選択に基づくキャラクター音声合成の検討
  • 著者名/発表者名: 荒生侑介
  • 学会等名: 日本音響学会2013年秋季研究発表会
  • 発表場所: 豊橋技術科学大学
• [学会発表] 共有決定木を利用した話者適応に基づくクロスリンガル音声合成の評価
  • 著者名/発表者名: 長濱大樹
  • 学会等名: 日本音響学会2014年春季研究発表会
  • 発表場所: 日本大学
• [学会発表] 音声合成のための音韻・韻律コンテキストを考慮した文選択アルゴリズムの評価
  • 著者名/発表者名: 荒生侑介
  • 学会等名: 日本音響学会2014年春季研究発表会
  • 発表場所: 日本大学