Study on prediction and restoration of an original sound signal by using plural observed signals

• Project/Area Number: 18300064
• Research Category: Grant-in-Aid for Scientific Research (B)
• Allocation Type: Single-year Grants
• Section: 一般
• Research Field: Perception information processing/Intelligent robotics
• Research Institution: Meijo University
• Principal Investigator: ITAKURA Fumitada Meijo University, 理工学部, 教授 (30168299)
• Co-Investigator(Kenkyū-buntansha): BANNO Hideki 名城大学, 理工学部, 准教授 (20335003) ; KAWAHARA Hideki 和歌山大学, システム工学部, 教授 (40294300) ; NISHINO Takanori 名古屋大学, 情報メディア教育センター, 助教 (40329769) ; TODA Tomoki 奈良先端科学技術大学院大学, 情報科学研究科, 助教 (90403328)
• Project Period (FY): 2006 – 2008
• Project Status: Completed (Fiscal Year 2008)
• Budget Amount: ¥17,300,000 (Direct Cost: ¥14,600,000、Indirect Cost: ¥2,700,000); Fiscal Year 2008: ¥5,850,000 (Direct Cost: ¥4,500,000、Indirect Cost: ¥1,350,000); Fiscal Year 2007: ¥5,850,000 (Direct Cost: ¥4,500,000、Indirect Cost: ¥1,350,000); Fiscal Year 2006: ¥5,600,000 (Direct Cost: ¥5,600,000)
• Keywords: 音声信号処理 / 音響信号処理 / スペクトル / 声道断面積関数 / モデル化 / 頭部伝達関数 / 歌唱音声合成 / 信号回復 / マイクロホン / 雑音重畳

Research Abstract

本研究では、多元観測信号を用いて、変化・劣化した音信号から元の信号や所望の信号を予測・復元する実用的方法について検討を行った。まず、本研究の理論的基盤となる新しい音声のスペクトル表現を開発した。これにより、高品質な音声の再合成や、音声モーフィングなどの様々な変換に対する自然な音色変化の再現が可能となった。この理論や既存の枠組を利用し、様々な音声信号・音響信号の分析を行った。具体的には、話速変換処理を施した音声と早口で発声した音声の比較検討や、様々な表現を含む歌唱音声の解析、アナログレコードに含まれる歪みの数値化、室内の音響特性の場所による変化の分析、マイクロホン特性のモデル化、車内騒音のモデル化などを行い、数多くの知見が得られた。

Research Products

• [Journal Article] Implementation of realtime STRAIGHT speech manipulation system (2007)
  • Author(s): Hideki Banno, Hiroaki Hata, Masanori Morise, Toru Takahashi, Toshio Irino and Hideki Kawahara
  • Journal Title: Acoustical Science and Technology 28(3) Pages: 140-146
  • Peer Reviewed
• [Journal Article] Implementation of realtime STRAIGHT speech manipulation system (2007)
  • Author(s): Hideki Banno, Hiroaki Hata, Masanori Morise, Toru Takahashi, Toshio Irino, Hideki Kawahara
  • Journal Title: Acoustical Science and Technology 28・3(採録決定)
• [Journal Article] スキャットにおける、スペクトル変動特性のテンポによる変化のモデル化 (2007)
  • Author(s): 川添 正人, 坂野 秀樹, 板倉 文忠
  • Journal Title: 日本音響学会2007年春季研究発表会講演論文集 Pages: 277-278
• [Journal Article] Spectral modification technique in conversion of musical notes or tempos for singing voice synthesis system (2006)
  • Author(s): Hikide Banno, Kumi Ohta, Masato Kawazoe, Fumitada Itakura
  • Journal Title: 4th Joint Meeting Acoustical Society of America and Acoustical Society of Japan 120・5 Pages: 3029-3029
• [Journal Article] STRAIGHTスペクトルに基づく音源信号の抽出と非周期成分の評価について (2006)
  • Author(s): 河原英紀, 森勢将雄, 高橋徹, 入野俊夫, 坂野秀樹, 藤村靖
  • Journal Title: 電子情報通信学会 技術研究報告 SP-2006-83 Pages: 43-48
  • NAID: 110005717077
• [Presentation] アコースティックギター音の分析合成手法に関する検討 (2009)
  • Author(s): 片山裕規, 坂野秀樹, 板倉文忠
  • Organizer: 日本音響学会春季研究発表会
  • Place of Presentation: 東京工業大学, 東京
  • Year and Date: 2009-03-18
• [Presentation] 時間的不整合を含む楽音信号に対する客観評価尺度の提案 (2009)
  • Author(s): 笠原優也, 坂野秀樹, 板倉文忠
  • Organizer: 日本音響学会春季研究発表会
  • Place of Presentation: 東京工業大学, 東京
  • Year and Date: 2009-03-18
• [Presentation] 歌唱音声における音高連続変化音声の分析 (2009)
  • Author(s): 水野雄介, 坂野秀樹, 板倉文忠
  • Organizer: 日本音響学会春季研究発表会
  • Place of Presentation: 東京工業大学, 東京
  • Year and Date: 2009-03-17
• [Presentation] 音圧レベル変化を含む歌唱音声の周波数分析 (2009)
  • Author(s): 荒川綾則, 内村佳典, 坂野秀樹, 板倉文忠
  • Organizer: 日本音響学会春季研究発表会
  • Place of Presentation: 東京工業大学, 東京
  • Year and Date: 2009-03-17
• [Presentation] 話声から歌声への発話変化に伴う音声特徴量の変化の分析 (2009)
  • Author(s): 西脇涼介, 坂野秀樹, 板倉文忠
  • Organizer: 日本音響学会春季研究発表会
  • Place of Presentation: 東京工業大学, 東京
  • Year and Date: 2009-03-17
• [Presentation] 意図的な明瞭発声における動的特徴の分析 (2009)
  • Author(s): 柴田吉輝, 坂野秀樹, 板倉文忠
  • Organizer: 日本音響学会春季研究発表会
  • Place of Presentation: 東京工業大学, 東京
  • Year and Date: 2009-03-17
• [Presentation] 早口音声の特徴に基づいた人間らしい話速変換音声の生成に関する分析 (2009)
  • Author(s): 田原拓, 坂野秀樹, 板倉文忠
  • Organizer: 日本音響学会春季研究発表会
  • Place of Presentation: 東京工業大学, 東京
  • Year and Date: 2009-03-17
• [Presentation] 音響的イベントの持続時間に基づいた非周期成分の時間構造の制御について (2009)
  • Author(s): 河原英紀, 森勢将雅, 高橋徹, 坂野秀樹, 西村竜一, 入野俊夫
  • Organizer: 日本音響学会春季研究発表会
  • Place of Presentation: 東京工業大学, 東京
  • Year and Date: 2009-03-17
• [Presentation] STRAIGHTライブラリを用いた高品質音声分析合成アプリケーションの開発 (2009)
  • Author(s): 坂野秀樹, 吉田翔, 高橋茂樹, 板倉文忠, 森勢将雅, 高橋徹, 河原英紀
  • Organizer: 日本音響学会春季研究発表会
  • Place of Presentation: 東京工業大学, 東京
  • Year and Date: 2009-03-17
• [Presentation] Spectral Envelope Recovery beyond the Nyquist Limit for High-Quality Manipulation of Speech Sounds (2008)
  • Author(s): Hideki Kawahara, Masanori Morise, Hideki Banno, Toru Takahashi, Ryuichi Nisimura, Toshio Irino
  • Organizer: Interspeech 2008
  • Place of Presentation: Brisbane, Australia
  • Year and Date: 2008-09-24
• [Presentation] Study on Manipulation Method of Voice Quality Based on the Vocal Tract Area Function (2008)
  • Author(s): Yoshinori Uchimura, Hideki Banno, Fumitada Itakura, Hideki Kawahara
  • Organizer: Interspeech 2008
  • Place of Presentation: Brisbane, Australia
  • Year and Date: 2008-09-23
• [Presentation] 零周波数フィルタ信号に基づく基本周波数抽出法の評価と応用について (2008)
  • Author(s): 河原英紀, 森勢将雅, 高橋徹, 坂野秀樹, 板垣英恵, 大西荘登, 西村竜一, 入野俊夫
  • Organizer: 日本音響学会秋季研究発表会
  • Place of Presentation: 九州大学, 福岡
  • Year and Date: 2008-09-11
• [Presentation] 早口音声と話速変換音声におけるスペクトル変動特性の違いに関する分析 (2008)
  • Author(s): 田原拓, 坂野秀樹, 板倉文忠
  • Organizer: 日本音響学会秋季研究発表会
  • Place of Presentation: 九州大学, 福岡
  • Year and Date: 2008-09-10
• [Presentation] 歌唱音声における音圧レベルによる周波数特性変化の個人性 (2008)
  • Author(s): 荒川綾則, 坂野秀樹, 板倉文忠
  • Organizer: 日本音響学会秋季研究発表会
  • Place of Presentation: 九州大学, 福岡
  • Year and Date: 2008-09-10
• [Presentation] A unified approach for F0 extraction and aperiodicity estimation based on a temporally stable power spectral representation (2008)
  • Author(s): Hideki Kawahara, Masanori Morise, Toru Takahashi, Ryuichi Nisimura, Hideki Banno, Toshio Irino
  • Organizer: ISCA Tutorial and Research Workshop
  • Place of Presentation: Aalborg, Denmark
  • Year and Date: 2008-06-05
• [Presentation] A unified approach for FO extraction and aperiodicityestimation based on a temporally stable power spectral repres entation (2008)
  • Author(s): Hideki Kawahara, Masanori Morise, Toru Takahashi, Ryuichi Nisimura, Hideki Banno, Toshio Irino
  • Organizer: ISCA Tutorial and Research Workshop
  • Place of Presentation: Aalborg, Denmark
  • Year and Date: 2008-06-05
• [Presentation] A temporally stable power spectral representation for periodic signals and applications to interference-free spectrum, F0, and aperiodicity estimation (2008)
  • Author(s): Hideki Kawahara, Masanori Morise, Toru Takahashi, Ryuichi Nisimura, Toshio Irino, Hideki Banno
  • Organizer: ICASSP 2008
  • Place of Presentation: Las Vegas, Nevada, U.S.A
  • Year and Date: 2008-04-01
• [Presentation] A temporally stable power spectral representation for periodic signals and applications to interference-free spectrum, FO, and aperiodicity estimation (2008)
  • Author(s): Hideki Kawahara, Masanori Morise, Toru Takahashi, Ryuichi Nisimura, Toshio Irino, Hideki Banno
  • Organizer: ICASSP 2008
  • Place of Presentation: Las Vegas, Nevada, U.S.A.
  • Year and Date: 2008-04-01
• [Presentation] リアルタイムSTRAIGHTの改良とSTRAIGHTライブラリの実装 (2008)
  • Author(s): 坂野秀樹, 森勢将雅, 高橋徹, 西村竜一, 入野俊夫, 河原英紀
  • Organizer: 日本音響学会聴覚研究会/電子情報通信学会音声研究会
  • Place of Presentation: 東京大学, 東京
  • Year and Date: 2008-03-21
• [Presentation] リアルタイムSTRAIGHTの改良とSTRAIGHTライブラリの実装 (2008)
  • Author(s): 坂野秀樹, 森勢将雅, 高橋徹, 西村竜一, 入野俊夫, 河原英紀
  • Organizer: 日本音響学会 聴覚研究会/電子情報通信学会 音声研究会
  • Place of Presentation: 東京大学,東京
  • Year and Date: 2008-03-21
• [Presentation] スキャットにおける声道断面積関数のテンポによる違いの分析 (2008)
  • Author(s): 川添正人, 坂野秀樹, 板倉文忠
  • Organizer: 日本音響学会春季研究発表会
  • Place of Presentation: 千葉工業大学, 千葉
  • Year and Date: 2008-03-19
• [Presentation] 早口音声と話速変換音声における音素長の違いに関する分析 (2008)
  • Author(s): 田原拓, 坂野秀樹, 板倉文忠
  • Organizer: 日本音響学会春季研究発表会
  • Place of Presentation: 千葉工業大学, 千葉
  • Year and Date: 2008-03-19
• [Presentation] 歌唱音声における音圧レベルによる周波数特性の違いの分析 (2008)
  • Author(s): 荒川綾則, 坂野秀樹, 板倉文忠
  • Organizer: 日本音響学会春季研究発表会
  • Place of Presentation: 千葉工業大学, 千葉
  • Year and Date: 2008-03-19
• [Presentation] スキャットにおける声道断面積関数のテンポによる違いの分析 (2008)
  • Author(s): 川添 正人, 坂野 秀樹, 板倉 文忠
  • Organizer: 日本音響学会 春季研究発表会
  • Place of Presentation: 千葉工業大学,千葉
  • Year and Date: 2008-03-19
• [Presentation] 早口音声と話速変換音声における音素長の違いに関する分析 (2008)
  • Author(s): 田原 拓, 坂野 秀樹, 板倉 文忠
  • Organizer: 日本音響学会 春季研究発表会
  • Place of Presentation: 千葉工業大学,千葉
  • Year and Date: 2008-03-19
• [Presentation] 歌唱音声における音圧レベルによる周波数特性の違いの分析 (2008)
  • Author(s): 荒川 綾則, 坂野 秀樹, 板倉 文忠
  • Organizer: 日本音響学会 春季研究発表会
  • Place of Presentation: 千葉工業大学,千葉
  • Year and Date: 2008-03-19
• [Presentation] 声質制御への応用を目的とした、声道断面積関数の話者による違いの分析 (2008)
  • Author(s): 内村 佳典, 坂野秀樹, 板倉文忠
  • Organizer: 日本音響学会春季研究発表会
  • Place of Presentation: 千葉工業大学, 千葉
  • Year and Date: 2008-03-18
• [Presentation] 声質制御への応用を目的とした、声道断面積関数の話者による違いの分析 (2008)
  • Author(s): 内村 佳典, 坂野 秀樹, 板倉 文忠
  • Organizer: 日本音響学会 春季研究発表会
  • Place of Presentation: 千葉工業大学,千葉
  • Year and Date: 2008-03-18
• [Presentation] 線形予測分析に基づくソフトウェア騒音計の開発 (2008)
  • Author(s): 荒川綾則, 坂野秀樹, 板倉文忠
  • Organizer: 日本音響学会春季研究発表会
  • Place of Presentation: 千葉工業大学, 千葉
  • Year and Date: 2008-03-17
• [Presentation] 線形予測分析に基づくソフトウェア騒音計の開発 (2008)
  • Author(s): 荒川 綾則, 坂野 秀樹, 板倉 文忠
  • Organizer: 日本音響学会 春季研究発表会
  • Place of Presentation: 千葉工業大学,千葉
  • Year and Date: 2008-03-17
• [Presentation] 声質制御への応用を目的とした声道断面積関数の分析 (2008)
  • Author(s): 内村佳典, 坂野秀樹, 板倉文忠
  • Organizer: 音楽情報科学研究会・音声言語情報処理研究会
  • Place of Presentation: ホテル暖香園, 静岡
  • Year and Date: 2008-02-09
• [Presentation] 声質制御への応用を目的とした声道断面積関数の分析 (2008)
  • Author(s): 内村 佳典, 坂野 秀樹, 板倉 文忠
  • Organizer: 音楽情報科学研究会・音声言語情報処理研究会
  • Place of Presentation: ホテル暖香園,静岡県
  • Year and Date: 2008-02-09
• [Presentation] テンポの変化による影響を考慮した歌唱音声合成に関する検討 (2008)
  • Author(s): 川添正人, 坂野秀樹, 板倉文忠
  • Organizer: 音楽情報科学研究会・音声言語情報処理研究会
  • Place of Presentation: ホテル暖香園, 静岡
  • Year and Date: 2008-02-08
• [Presentation] テンポの変化による影響を考慮した歌唱音声合成に関する検討 (2008)
  • Author(s): 川添 正人, 坂野 秀樹, 板倉 文忠
  • Organizer: 音楽情報科学研究会・音声言語情報処理研究会
  • Place of Presentation: ホテル暖香園,静岡県
  • Year and Date: 2008-02-08
• [Presentation] TANDEM-STRAIGHTに基づく基本周波数の抽出と評価について (2007)
  • Author(s): 河原英紀, 森勢将雅, 高橋徹, 西村竜一, 坂野秀樹, 入野俊夫
  • Organizer: 第9回音声言語シンポジウム
  • Place of Presentation: NTT京阪奈ビル, 京都
  • Year and Date: 2007-12-21
• [Presentation] TANDEM-STRAIGHTに基づく基本周波数の抽出と評価について (2007)
  • Author(s): 河原 英紀, 森勢 将雅, 高橋 徹, 西村 竜一, 坂野 秀樹, 入野 俊夫
  • Organizer: 第9回音声言語シンポジウム
  • Place of Presentation: NTT京阪奈ビル,京都
  • Year and Date: 2007-12-21
• [Presentation] STRAIGHTにおける時間周波数分析の新しい定式化と実装について (2007)
  • Author(s): 河原英紀, 森勢将雅, 高橋徹, 西村竜一, 入野俊夫, 坂野秀樹
  • Organizer: 日本音響学会秋季研究発表会
  • Place of Presentation: 山梨大学, 山梨
  • Year and Date: 2007-09-21
• [Presentation] STRAIGHTにおける時間周波数分析の新しい定式化と実装について (2007)
  • Author(s): 河原 英紀, 森勢 将雅, 高橋 徹, 西村 竜一, 入野 俊夫, 坂野 秀樹
  • Organizer: 日本音響学会 秋季研究発表会
  • Place of Presentation: 山梨大学,山梨県
  • Year and Date: 2007-09-21
• [Presentation] スキャットにおける, スペクトル変動特性の音韻による違いの分析 (2007)
  • Author(s): 川添正人, 坂野秀樹, 板倉文忠
  • Organizer: 日本音響学会秋季研究発表会
  • Place of Presentation: 山梨大学, 山梨
  • Year and Date: 2007-09-19
• [Presentation] 声道断面積関数による声質制御方式に関する検討 (2007)
  • Author(s): 内村佳典, 坂野秀樹, 板倉文忠
  • Organizer: 日本音響学会秋季研究発表会
  • Place of Presentation: 山梨大学, 山梨
  • Year and Date: 2007-09-19
• [Presentation] スキャットにおける,スペクトル変動特性の音韻による違いの分析 (2007)
  • Author(s): 川添 正人, 坂野 秀樹, 板倉 文忠
  • Organizer: 日本音響学会 秋季研究発表会
  • Place of Presentation: 山梨大学,山梨県
  • Year and Date: 2007-09-19
• [Presentation] 声道断面積関数による声質制御方式に関する検討 (2007)
  • Author(s): 内村 佳典, 坂野 秀樹, 板倉 文忠
  • Organizer: 日本音響学会 秋季研究発表会
  • Place of Presentation: 山梨大学,山梨県
  • Year and Date: 2007-09-19
• [Presentation] Group delay for acoustic event representation and its application for speech aperiodicity analysis (2007)
  • Author(s): Hideki Kawahara, Masanori Morise, Toru Takahashi, Hideki Banno, Toshio Irino, Osamu Fujimura
  • Organizer: EUSIPCO 2007
  • Place of Presentation: Poznan, Poland
  • Year and Date: 2007-09-04
• [Presentation] スキャットにおける、スペクトル変動特性のテンポによる変化のモデル化 (2007)
  • Author(s): 川添正人, 坂野秀樹, 板倉文忠
  • Organizer: 日本音響学会春季研究発表会
  • Place of Presentation: 芝浦工業大学, 東京
  • Year and Date: 2007-03-13
• [Presentation] Spectral modification technique in conversion of musical notes or tempos for singing voice synthesis system (2006)
  • Author(s): Hideki Banno, Kumi Ohta, Masato Kawazoe and Fumitada Itakura
  • Organizer: 4th Joint Meeting Acoustical Society of America and Acoustical Society of Japan
  • Place of Presentation: Hawai, U.S.A.
  • Year and Date: 2006-11-29
• [Presentation] STRAIGHTスペクトルに基く音源信号の抽出と非周期成分の評価について (2006)
  • Author(s): 河原英紀, 森勢将雅, 高橋徹, 入野俊夫, 坂野秀樹, 藤村靖
  • Organizer: 音声研究会
  • Place of Presentation: 産業技術総合研究所, 茨城
  • Year and Date: 2006-11-10
• [Remarks] STRAIGHT関連ツール(STRAIGHTライブラリ等)URL
  • URL: http://www.crestmuse.jp/cmstraight/
• [Patent(Industrial Property Rights)] 帯域分割線スペクトル対による声道断面積関数抽出手法(仮)
  • Inventor(s): 坂野秀樹, 板倉文忠, 荒川綾則, 内村佳典
  • Industrial Property Rights Holder: 坂野秀樹, 板倉文忠, 荒川綾則, 内村佳典