Research of Statistical Approaches to Voice Conversion and Voice Quality Control for Arbitrary Speakers

2008 Fiscal Year Final Research Report

• Project/Area Number: 18680018
• Research Category: Grant-in-Aid for Young Scientists (A)
• Allocation Type: Single-year Grants
• Research Field: Perception information processing/Intelligent robotics
• Research Institution: Nara Institute of Science and Technology
• Principal Investigator: TODA Tomoki Nara Institute of Science and Technology, 情報科学研究科, 助教授 (90403328)
• Project Period (FY): 2006 – 2008
• Keywords: 音声情報処理 / 音声信号処理 / 音声合成 / 声質変換 / 声質制御 / 音韻性 / 話者性

Research Abstract

声質変換は、話している内容を保存したまま、話者性などの非言語的な情報を変換する技術である。従来技術では特定の話者ペアを対象としていたが、より容易に誰もが声質変換を使用できるように、任意の話者を対象とした声質変換技術の研究開発を行った。任意の話者から特定話者への変換(多対一声質変換)、特定話者から任意の話者への変換及び変換音声の声質手動制御(一対多声質変換・制御)、さらに、任意の話者から任意の話者への変換(多対多声質変換)を実現する技術を構築し、その高い有効性を明らかにした。

Research Products

• [Journal Article] 音声合成/音声変換がもたらす新たなコミュニケーション -「伝達の円滑化」を生み出す声をつくる (2009)
  • Author(s): 戸田智基
  • Journal Title: Mobile Society Review 未来心理 Vol.15 Pages: 6-15
• [Journal Article] STRAIGHT混合励振源を用いた混合正規分布モデルに基づく最尤声質変換法 (2008)
  • Author(s): 大谷大和, 戸田智基, 猿渡洋, 鹿野清宏
  • Journal Title: 電子情報通信学会論文誌 Vol.J91-D, No.4 Pages: 1082-1091
  • Peer Reviewed
• [Journal Article] Statistical mapping between articulatory movements and acoustic spectrum using a Gaussian mixture model (2008)
  • Author(s): Tomoki Toda, Alan W Black, Keiichi Tokuda
  • Journal Title: Speech Communication Vol.50, No.3 Pages: 215-227
  • Peer Reviewed
• [Journal Article] Voice conversion based on maximum likelihood estimation of spectral parameter trajectory (2007)
  • Author(s): Tomoki Toda, Alan W Black, Keiichi Tokuda
  • Journal Title: IEEE Transactions on Audio, Speech and Language Processing Vol.15, No.8 Pages: 2222-2235
  • Peer Reviewed
• [Journal Article] 肉伝導人工音声の変換に基づく喉頭全摘出者のための音声コミュニケーション支援システム (2007)
  • Author(s): 中村圭吾, 戸田智基, 猿渡洋, 鹿野清宏
  • Journal Title: 電子情報通信学会論文誌 Vol.J90-D, No.3 Pages: 780-787
  • Peer Reviewed
• [Presentation] 共分散行列の対角化に基づく混合正規分布モデルを用いた声質変換処理の高速化 (2009)
  • Author(s): 村松敬司, 大谷大和, 戸田智基, 猿渡洋, 鹿野清宏
  • Organizer: 日本音響学会春季研究発表会, 音講論
  • Place of Presentation: 東京
  • Year and Date: 20090300
• [Presentation] 肉伝導音声変換のための最尤基準による音響特性補正 (2009)
  • Author(s): 宮本大輔, 中村圭吾, 戸田智基, 猿渡洋, 鹿野清宏
  • Organizer: 日本音響学会春季研究発表会, 音講論
  • Place of Presentation: 東京
  • Year and Date: 20090300
• [Presentation] 統計的手法に基づく電気式人工喉頭音声変換における出力音声の検討 (2009)
  • Author(s): 中村圭吾, 戸田智基, 猿渡洋, 鹿野清宏
  • Organizer: 日本音響学会春季研究発表会, 音講論
  • Place of Presentation: 東京
  • Year and Date: 20090300
• [Presentation] 肉伝導音声変換のための音響特性補正法 (2009)
  • Author(s): 宮本大輔, 中村圭吾, 戸田智基, 猿渡洋, 鹿野清宏
  • Organizer: 音声研究会, 信学技報
  • Place of Presentation: 奈良
  • Year and Date: 20090100
• [Presentation] 任意の話者を対象とする統計的声質変換・制御法 (2009)
  • Author(s): 戸田智基
  • Organizer: 音声研究会, 信学技報
  • Place of Presentation: 奈良
  • Year and Date: 20090100
• [Presentation] 参照話者を用いた多対多固有声変換法 (2009)
  • Author(s): 大谷大和, 戸田智基, 猿渡洋, 鹿野清宏
  • Organizer: 音声研究会, 信学技報
  • Place of Presentation: 奈良
  • Year and Date: 20090100
• [Presentation] スペクトル系列の最尤推定に基づく短遅延声質変換法 (2009)
  • Author(s): 村松敬司, 大谷大和, 戸田智基, 猿渡洋, 鹿野清宏
  • Organizer: 音声研究会, 信学技報
  • Place of Presentation: 奈良
  • Year and Date: 20090100
• [Presentation] Low-delay voice conversion based on maximum likelihood estimation of spectral parameter trajectory (2008)
  • Author(s): Takashi Muramatsu, Yamato Ohtani, Tomoki Toda, Hiroshi Saruwatari, Kiyohiro Shikano
  • Organizer: Proc. INTERSPEECH
  • Place of Presentation: Brisbane, Australia
  • Year and Date: 20080900
• [Presentation] An improved one-to-many eigenvoice conversion system (2008)
  • Author(s): Yamato Ohtani, Tomoki Toda, Hiroshi Saruwatari, Kiyohiro Shikano
  • Organizer: Proc. INTERSPEECH
  • Place of Presentation: Brisbane, Australia
  • Year and Date: 20080900
• [Presentation] Maximum a posteriori adaptation for many-to-one eigenvoice conversion (2008)
  • Author(s): Daisuke Tani, Tomoki Toda, Yamato Ohtani, Hiroshi Saruwatari, Kiyohiro Shikano
  • Organizer: Proc. INTERSPEECH
  • Place of Presentation: Brisbane, Australia
  • Year and Date: 20080900
• [Presentation] Evaluation of speaking-aid system with voice conversion for laryngectomees toward its use in practical environments (2008)
  • Author(s): Keigo Nakamura, Tomoki Toda, Yoshitaka Nakajima, Hiroshi Saruwatari, Kiyohiro Shikano
  • Organizer: Proc. INTERSPEECH
  • Place of Presentation: Brisbane, Australia
  • Year and Date: 20080900
• [Presentation] 肉伝導音声変換における制約付き最尤線形回帰に基づく音響特性補正 (2008)
  • Author(s): 宮本大輔, 中村圭吾, 戸田智基, 猿渡洋, 鹿野清宏
  • Organizer: 日本音響学会秋季研究発表会, 音講論
  • Place of Presentation: 福岡
  • Year and Date: 20080900
• [Presentation] 最尤スペクトル系列変換に対する短遅延処理アルゴリズムの適用 (2008)
  • Author(s): 村松敬司,大谷大和,戸田智基,猿渡洋, 鹿野清宏
  • Organizer: 日本音響学会秋季研究発表会, 音講論
  • Place of Presentation: 福岡
  • Year and Date: 20080900
• [Presentation] 固有声変換のための話者正規化学習における初期モデルの検討 (2008)
  • Author(s): 大谷大和, 戸田智基, 猿渡洋, 鹿野清宏
  • Organizer: 日本音響学会秋季研究発表会, 音講論
  • Place of Presentation: 福岡
  • Year and Date: 20080900
• [Presentation] Statistical conversion of speech parameter trajectory for mapping between features of different modalities (2008)
  • Author(s): Tomoki Toda
  • Organizer: Acoustics'08 Paris (the 2nd ASA-EAA joint conference)
  • Place of Presentation: Paris, France
  • Year and Date: 20080700
• [Presentation] Bandwidth extension of cellular phone speech based on maximum likelihood estimation with GMM (2008)
  • Author(s): Wataru Fujitsuru, Hidehiko Sekimoto, Tomoki Toda, Hiroshi Saruwatari, Kiyohiro Shikano
  • Organizer: Proc. NCSP
  • Place of Presentation: Gold Coast, Australia
  • Year and Date: 20080300
• [Presentation] 一対多固有声変換に基づく声質制御法の拡張 (2008)
  • Author(s): 太田久美, 大谷大和, 戸田智基, 猿渡洋, 鹿野清宏
  • Organizer: 日本音響学会春季研究発表会, 音講論
  • Place of Presentation: 千葉
  • Year and Date: 20080300
• [Presentation] 適応データ量に頑健な多対一固有声変換法 (2008)
  • Author(s): 谷大輔, 大谷大和, 戸田智基, 猿渡洋, 鹿野清宏
  • Organizer: 日本音響学会春季研究発表会, 音講論
  • Place of Presentation: 千葉
  • Year and Date: 20080300
• [Presentation] 微弱振動子とNAMマイクを用いた発話障害者補助 (2008)
  • Author(s): 中村圭吾, 戸田智基, 中島淑貴, 猿渡洋, 鹿野清宏
  • Organizer: 情報処理学会, 講演論文集
  • Place of Presentation: 茨城
  • Year and Date: 20080300
• [Presentation] 音響特性補正の導入による肉伝導音声変換の収録環境適応 (2008)
  • Author(s): 宮本大輔, 中村圭吾, 戸田智基, 猿渡洋, 鹿野清宏
  • Organizer: 音声言語情報処理研究会, 情報処理研報
  • Place of Presentation: 新潟
  • Year and Date: 20080200
• [Presentation] 混合正規分布モデルに基づく声質変換の高速化を目的とした共分散行列の対角化 (2008)
  • Author(s): 村松敬司, 大谷大和, 戸田智基, 猿渡洋, 鹿野清宏
  • Organizer: 音声言語情報処理研究会, 情報処理研報
  • Place of Presentation: 新潟
  • Year and Date: 20080200
• [Presentation] 事前収録話者データを用いた多対一声質変換法 (2007)
  • Author(s): 谷大輔, 大谷大和, 戸田智基, 猿渡洋, 鹿野清宏
  • Organizer: 音声研究会, 信学技報
  • Place of Presentation: 長崎
  • Year and Date: 20071000
• [Presentation] 一対多固有声変換に基づく声質制御法の評価 (2007)
  • Author(s): 太田久美, 大谷大和, 戸田智基, 猿渡洋, 鹿野清宏
  • Organizer: 音声研究会, 信学技報
  • Place of Presentation: 長崎
  • Year and Date: 20071000
• [Presentation] 一対多固有声変換に基づく声質制御法に関する予備的検討 (2007)
  • Author(s): 太田久美, 大谷大和, 戸田智基, 猿渡洋, 鹿野清宏
  • Organizer: 日本音響学会秋季研究発表会, 音講論
  • Place of Presentation: 山梨
  • Year and Date: 20070900
• [Presentation] 話者選択及び固有声に基づく多対一声質変換法とその評価 (2007)
  • Author(s): 谷大輔, 大谷大和, 戸田智基, 猿渡洋, 鹿野清宏
  • Organizer: 日本音響学会秋季研究発表会, 音講論
  • Place of Presentation: 山梨
  • Year and Date: 20070900
• [Presentation] 微弱音源を用いた喉頭摘出者音声から健常者ささやき声への声質変換の評価 (2007)
  • Author(s): 中村圭吾, 戸田智基, 中島淑貴, 猿渡洋, 鹿野清宏
  • Organizer: 日本音響学会秋季研究発表会, 音講論
  • Place of Presentation: 山梨
  • Year and Date: 20070900
• [Presentation] 広帯域符号化方式との比較による最尤変換法に基づく帯域拡張の評価 (2007)
  • Author(s): 藤敦渉, 関本英彦, 戸田智基, 猿渡洋, 鹿野清宏
  • Organizer: 日本音響学会秋季研究発表会, 音講論
  • Place of Presentation: 山梨
  • Year and Date: 20070900
• [Presentation] Speaker adaptive training for one-to-many eigenvoice conversion based on Gaussian mixture model (2007)
  • Author(s): Yamato Ohtani, Tomoki Toda, Hiroshi Saruwatari, Kiyohiro Shikano
  • Organizer: Proc. INTERSPEECH
  • Place of Presentation: Antwerp, Belgium
  • Year and Date: 20070800
• [Presentation] Impact of various small sound source signals on voice conversion accuracy in speech communication aid for laryngectomees (2007)
  • Author(s): Keigo Nakamura, Tomoki Toda, Hiroshi Saruwatari, Kiyohiro Shikano
  • Organizer: Proc. INTERSPEECH
  • Place of Presentation: Antwerp, Belgium
  • Year and Date: 20070800
• [Presentation] Regression approaches to voice quality control based on one-to-many eigenvoice conversion (2007)
  • Author(s): Kumi Ohta, Yamato Ohtani, Tomoki Toda, Hiroshi Saruwatari, Kiyohiro Shikano
  • Organizer: Proc. 6th ISCA Speech Synthesis Workshop (SSW6)
  • Place of Presentation: Bonn, Germany
  • Year and Date: 20070800
• [Presentation] An evaluation of many-to-one voice conversion algorithms with pre-stored speaker data sets (2007)
  • Author(s): Daisuke Tani, Yamato Ohtani, Tomoki Toda, Hiroshi Saruwatari, Kiyohiro Shikano
  • Organizer: Proc. 6th ISCA Speech Synthesis Workshop (SSW6)
  • Place of Presentation: Bonn, Germany
  • Year and Date: 20070800
• [Presentation] 喉頭摘出者データを用いた人工音声変換システムの評価 (2007)
  • Author(s): 中村圭吾, 戸田智基, 中島淑貴, 猿渡洋, 鹿野清宏
  • Organizer: 福祉情報工学研究会
  • Place of Presentation: 東京
  • Year and Date: 20070800
• [Presentation] 喉頭摘出者の会話支援システムにおける微弱な音源信号に関する検討 (2007)
  • Author(s): 中村圭吾, 戸田智基, 猿渡洋, 鹿野清宏
  • Organizer: 音声研究会, 信学技報
  • Place of Presentation: 富山
  • Year and Date: 20070700
• [Presentation] GMMに基づく最尤変換法による携帯電話音声の帯域拡張 (2007)
  • Author(s): 藤敦渉, 関本英彦, 戸田智基, 猿渡洋, 鹿野清宏
  • Organizer: 音声言語情報処理研究会, 情報処理研報
  • Place of Presentation: 宮城
  • Year and Date: 20070700
• [Presentation] One-to-many and many-to-one voice conversion based on eigenvoices (2007)
  • Author(s): Tomoki Toda, Yamato Ohtani, Kiyohiro Shikano
  • Organizer: Proc. ICASSP
  • Place of Presentation: Hawaii, USA
  • Year and Date: 20070400
• [Presentation] 音源特徴量および発話内変動を考慮した固有声に基づく声質変換 (2007)
  • Author(s): 大谷大和, 戸田智基, 猿渡洋, 鹿野清宏
  • Organizer: 日本音響学会春季研究発表会, 音講論
  • Place of Presentation: 東京
  • Year and Date: 20070300
• [Presentation] 最尤変換法による携帯電話音声の帯域拡張 (2007)
  • Author(s): 藤敦渉, 関本英彦,戸田智基, 猿渡洋, 鹿野清宏
  • Organizer: 日本音響学会春季研究発表会, 音講論
  • Place of Presentation: 東京
  • Year and Date: 20070300
• [Presentation] 喉頭摘出者の会話支援における微弱な外部音源信号が声質変換精度に与える影響 (2007)
  • Author(s): 中村圭吾, 戸田智基, 猿渡洋, 鹿野清宏
  • Organizer: 日本音響学会春季研究発表会, 音講論
  • Place of Presentation: 東京
  • Year and Date: 20070300
• [Presentation] Improving quality of small body transmitted ordinary speech with statistical voice conversion (2006)
  • Author(s): Hidehiko Sekimoto, Tomoki Toda, Hiroshi Saruwatari, Kiyohiro Shikano
  • Organizer: 4th Joint Meeting of the ASA and the ASJ
  • Place of Presentation: Hawaii, USA
  • Year and Date: 20061100
• [Presentation] Evaluation of eigenvoice conversion based on Gaussian mixture model (2006)
  • Author(s): Yamato Ohtani, Tomoki Toda, Hiroshi Saruwatari, Kiyohiro Shikano
  • Organizer: 4th Joint Meeting of the ASA and the ASJ
  • Place of Presentation: Hawaii, USA
  • Year and Date: 20061100
• [Presentation] A speech communication aid system for total laryngectomies using voice conversion of body transmitted artificial speech (2006)
  • Author(s): Keigo Nakamura, Tomoki Toda, Hiroshi Saruwatari, Kiyohiro Shikano
  • Organizer: 4th Joint Meeting of the ASA and the ASJ
  • Place of Presentation: Hawaii, USA
  • Year and Date: 20061100
• [Presentation] Speaking aid system for total laryngectomees using voice conversion of body transmitted artificial speech (2006)
  • Author(s): Keigo Nakamura, Tomoki Toda, Hiroshi Saruwatari, Kiyohiro Shikano
  • Organizer: Proc. INTERSPEECH
  • Place of Presentation: Pittsburgh, USA
  • Year and Date: 20060900
• [Presentation] Maximum likelihood voice conversion based on GMM with STRAIGHT mixed excitation (2006)
  • Author(s): Yamato Ohtani, Tomoki Toda, Hiroshi Saruwatari, Kiyohiro Shikano
  • Organizer: Proc. INTERSPEECH
  • Place of Presentation: Pittsburgh, USA
  • Year and Date: 20060900
• [Presentation] Improving body transmitted unvoiced speech with statistical voice conversion (2006)
  • Author(s): Mikihiro Nakagiri, Tomoki Toda, Hideki Kashioka, Kiyohiro Shikano
  • Organizer: Proc. INTERSPEECH
  • Place of Presentation: Pittsburgh, USA
  • Year and Date: 20060900
• [Presentation] Eigenvoice conversion based on Gaussian mixture model (2006)
  • Author(s): Tomoki Toda, Yamato Ohtani, Kiyohiro Shikano
  • Organizer: Proc. INTERSPEECH
  • Place of Presentation: Pittsburgh, USA
  • Year and Date: 20060900
• [Presentation] 喉頭摘出者の音声コミュニケーション支援を目指した肉伝導人工音声の声質変換 (2006)
  • Author(s): 中村圭吾, 戸田智基, 猿渡洋, 鹿野清宏
  • Organizer: 日本音響学会秋季研究発表会, 音講論
  • Place of Presentation: 石川
  • Year and Date: 20060900
• [Presentation] 固有声に基づく声質変換・制御法 (2006)
  • Author(s): 戸田智基, 大谷大和, 鹿野清宏
  • Organizer: 日本音響学会秋季研究発表会, 音講論
  • Place of Presentation: 石川
  • Year and Date: 20060900
• [Presentation] 固有声に基づく声質変換における話者正規化学習の導入 (2006)
  • Author(s): 大谷大和, 戸田智基, 猿渡洋, 鹿野清宏
  • Organizer: 日本音響学会秋季研究発表会, 音講論
  • Place of Presentation: 石川
  • Year and Date: 20060900
• [Presentation] 小声発話様式における肉伝導音声の音質改善 (2006)
  • Author(s): 関本英彦, 戸田智基, 猿渡洋, 鹿野清宏
  • Organizer: 日本音響学会秋季研究発表会, 音講論
  • Place of Presentation: 石川
  • Year and Date: 20060900
• [Presentation] 固有声に基づく声質変換法 (2006)
  • Author(s): 戸田智基, 大谷大和, 鹿野清宏
  • Organizer: 音声研究会, 信学技報
  • Place of Presentation: 北海道
  • Year and Date: 20060800
• [Presentation] 固有声に基づく声質変換のための話者正規化学習法 (2006)
  • Author(s): 大谷大和, 戸田智基, 猿渡洋, 鹿野清宏
  • Organizer: 音声研究会, 信学技報
  • Place of Presentation: 北海道
  • Year and Date: 20060800
• [Presentation] 統計的声質変換による肉伝導小声の音質改善 (2006)
  • Author(s): 関本英彦, 戸田智基, 猿渡洋, 鹿野清宏
  • Organizer: 音声研究会, 信学技報
  • Place of Presentation: 北海道
  • Year and Date: 20060800
• [Presentation] 喉頭摘出者を想定して微弱な音源信号を用いて収録された肉伝導音声の声質変換 (2006)
  • Author(s): 中村圭吾, 戸田智基, 猿渡洋, 鹿野清宏
  • Organizer: 福祉情報工学研究会
  • Place of Presentation: 茨城
  • Year and Date: 20060500
• [Patent(Industrial Property Rights)] 声質変換モデル生成装置及び声質変換システム (2006)
  • Inventor(s): 戸田智基, 大谷大和, 舛田剛志
  • Industrial Property Rights Holder: 奈良先端科学技術大学院大学, 旭化成株式会社
  • Industrial Property Number: 2006-236422(特願)
  • Filing Date: 2006-08-31