聴覚特性を考慮した音声信号の高品質補間に関する研究

• Project/Area Number: 16700183
• Research Category: Grant-in-Aid for Young Scientists (B)
• Allocation Type: Single-year Grants
• Research Field: Perception information processing/Intelligent robotics
• Research Institution: Meijo University (2005-2006); Wakayama University (2004)
• Principal Investigator: 坂野 秀樹 名城大学, 理工学部, 講師 (20335003)
• Project Period (FY): 2004 – 2006
• Project Status: Completed (Fiscal Year 2006)
• Budget Amount: ¥3,600,000 (Direct Cost: ¥3,600,000); Fiscal Year 2006: ¥1,100,000 (Direct Cost: ¥1,100,000); Fiscal Year 2005: ¥1,100,000 (Direct Cost: ¥1,100,000); Fiscal Year 2004: ¥1,400,000 (Direct Cost: ¥1,400,000)
• Keywords: 音声補間 / 音声モーフィング / 歌唱音声合成 / 感情音声合成 / 音声分析合成 / スペクトル / DPマッチング / ホルマント / 歌唱合成 / 感情マッピング / 基本周波数 / 距離尺度

Research Abstract

1.補間方法の評価・検証
音声補間の応用の一つである音声モーフィングは、通常、異なる話者間の補間を行うが、話者間の音声特徴量の違いが大きいため、劣化も大きい上、劣化の原因も特定しづらい。そこで、本研究では、異なる話者間に比べて難易度の低い、同一話者・同一発声におけるモーフィングについて検討し、問題点を明らかにしてきた。特に、同じ発声内容でもスペクトルや基本周波数の変化に富む感情音声並びに、テンポや音程が保たれているため話声よりも扱いの容易な歌唱音声の補間・モーフィングについて検討している。今年度は、より広範なデータを用いての補間方法の検討・評価を行った。
特徴点の設定方法を検討する中で、我々は声道断面積関数を利用したスペクトルの補間方法に関する手法を開発した。更なる高品質化のためには、より詳細な検討が必要であるが、極めて柔軟な補間が可能な手法となり得ることが確認されている。
2.音声補間を利用したシステムの構築
デモシステムの構築及び評価を行った。感情モーフィングを利用した中間的な感情を生成するシステム、入力歌唱音声のテンポを変更して合成するシステム、入力した音声のスペクトル及び基本周波数を実時間で変換して高品質な合成を行う実時間声質変換システムなどを構築した。特に、実時間声質変換システムについては、主観評価実験等による評価を行った結果を論文として投稿し、採録が決定している。このシステムに用いられている分析合成部分では、高品質音声分析合成方式であるSTRAIGHTをベースとしたものを用いているが、高速化や様々な工夫の導入により、実時間処理が難しいと言われていたSTRAIGHTの実時間処理を可能としている。この分析合成部分の評価を行った所、元のSTRAIGHTに比べれば劣化するものの、既存の分析合成であるケプストラムボコーダに比べて主観評価値のMOSにおいて1程度の品質向上が見られている。

Research Products

• [Journal Article] Implementation of realtime STRAIGHT speech manipulation system (2007)
  • Author(s): Hideki Banno, Hiroaki Hata, Masanori Morise, Toru Takahashi, Toshio Irino, Hideki Kawahara
  • Journal Title: Acoustical Science and Technology 28・3(採録決定)
• [Journal Article] スキャットにおける、スペクトル変動特性のテンポによる変化のモデル化 (2007)
  • Author(s): 川添 正人, 坂野 秀樹, 板倉 文忠
  • Journal Title: 日本音響学会2007年春季研究発表会講演論文集 Pages: 277-278
• [Journal Article] STRAIGHTスペクトルにおける周波数方向の冗長性の削減の検討 (2007)
  • Author(s): 吉田有里, 畑宏明, 高橋徹, 坂野秀樹, 入野俊夫, 河原英紀
  • Journal Title: 日本音響学会2007年春季研究発表会講演論文集 Pages: 289-290
• [Journal Article] Spectral modification technique in conversion of musical notes or tempos for singing voice synthesis system (2006)
  • Author(s): Hideki Banno, Kumi Ohta, Masato Kawazoe, Fumitada Itakura
  • Journal Title: 4th Joint Meeting Acoustical Society of America and Acoustical Society of Japan 120・5 Pages: 3029-3029
• [Journal Article] 聴覚特性を考慮したSTRAIGHTスペクトル補間特性とその主観評価について (2006)
  • Author(s): 畑宏明, 高橋徹, 坂野秀樹, 入野俊夫, 河原英紀
  • Journal Title: 日本音響学会2006年秋季研究発表会講演論文集 Pages: 271-272
• [Journal Article] 歌唱音声中の母音スペクトル形状の変動要因と歌唱合成への応用について (2006)
  • Author(s): 田原佳代子, 高橋徹, 坂野秀樹, 入野俊夫, 河原英紀
  • Journal Title: 日本音響学会2006年秋季研究発表会講演論文集 Pages: 267-268
• [Journal Article] 音量とFOによる歌唱母音STRAIGHTスペクトルの形状変化と全極近似について (2006)
  • Author(s): 田原 佳代子, 高橋 徹, 坂野 秀樹, 入野 俊夫, 河原 英紀
  • Journal Title: 日本音響学会2006年春季研究発表講演論文集 Vol.1 Pages: 371-372
• [Journal Article] 歌唱音声制御に伴うスペクトル変動の主成分分析と合成への応用について (2005)
  • Author(s): 田原 佳代子, 高橋 徹, 森勢 将雅, 坂野 秀樹, 河原 英紀
  • Journal Title: 電子情報通信学会技術報告 SP20005-38 Vol.105 No.198 Pages: 19-24
  • NAID: 110003298725
• [Journal Article] 主成分分析を用いた感情表現による母音部における音色変化のモデル化と感情マッピング (2005)
  • Author(s): 高橋 徹, 坂野 秀樹, 西村 竜一, 入野 俊夫, 河原 英紀
  • Journal Title: 日本音響学会2005年秋季研究発表講演論文集 Vol.1 Pages: 293-294
• [Journal Article] 音声モーフィングにおける対応点の自動化に関する研究 (2005)
  • Author(s): 西 雅史, 高橋 徹, 坂野 秀樹, 入野 俊夫, 河原 英紀
  • Journal Title: 日本音響学会2005年秋季研究発表講演論文集 Vol.1 Pages: 397-398
• [Journal Article] 母音スペクトル形状における音高・音量依存成分の分析について (2005)
  • Author(s): 田原 佳代子, 高橋 徹, 坂野 秀樹, 入野 俊夫, 河原 英紀
  • Journal Title: 日本音響学会2005年秋季研究発表講演論文集 Vol.1 Pages: 405-406
• [Journal Article] 有声音部分におけるSTRAIGHTスペクトルの補間特性の検討 (2005)
  • Author(s): 畑 宏明, 高橋 徹, 坂野 秀樹, 入野 俊夫, 河原 英紀
  • Journal Title: 日本音響学会2005年秋季研究発表講演論文集 Vol.1 Pages: 407-408
• [Journal Article] 感情音声データベースにおける母音特徴に注目したSTRAIGHTによる声質・感情変換について (2005)
  • Author(s): 藤井岳史, 西雅史, 高橋徹, 坂野秀樹, 入野俊夫, 河原英紀
  • Journal Title: 日本音響学会 2005年春季研究発表会 講演論文集 1 Pages: 299-300
  • NAID: 10018037756
• [Journal Article] STRAIGHTに基づく周波数・時間伸縮を用いた感情マッピングのための距離尺度 (2005)
  • Author(s): 高橋徹, 坂野秀樹, 西村竜一, 入野俊夫, 河原英紀
  • Journal Title: 日本音響学会 2005年春季研究発表会 講演論文集 1 Pages: 213-214
• [Journal Article] 歌唱音声の音量変化に伴うスペクトル変形の分析について (2005)
  • Author(s): 田原佳代子, 森勢将雅, 坂野秀樹, 入野俊夫, 河原英紀
  • Journal Title: 日本音響学会 2005年春季研究発表会 講演論文集 1 Pages: 271-272
  • NAID: 10018037669
• [Journal Article] STRAIGHTを用いたビブラート歌唱音声の統計的性質 (2005)
  • Author(s): 森勢将雅, 平地由美, 坂野秀樹, 入野俊夫, 河原英紀
  • Journal Title: 日本音響学会 2005年春季研究発表会 講演論文集 1 Pages: 269-270
  • NAID: 10018037660
• [Journal Article] Procedure "Senza Vibrato" : A Key Component for Morphing Singing (2004)
  • Author(s): H.Kawahara, Y.Hirachi, M.Morise, H.Banno
  • Journal Title: Proc.8th International Conference on Spoken Language Processing 5 Pages: 934-937