韻律の定式化に基づく自然な音声の合成と認識

1997 Fiscal Year Annual Research Report

• Project/Area Number: 09480061
• Research Institution: The University of Tokyo
• Principal Investigator: 広瀬 啓吉 東京大学, 大学院・工学系研究科, 教授 (50111472)
• Co-Investigator(Kenkyū-buntansha): 峯松 信明 豊橋技術科学大学, 工学部, 助手 (90273333)
• Keywords: 韻律的特徴 / 連続対話音声 / 感情音声 / 音声認識 / 音声合成 / フォルマント合成 / 波形編集合成 / モ-ラ遷移統計モデル

Research Abstract

本研究は、音声の韻律的特徴と言語情報やパラ・非言語情報との関係を定式・体系化して韻律規則を作成した上で、これを音声合成と音声認識に利用することにより、その高度化を実現することを目的とする。本年度は、音声資料の収集、分析手法の整備、韻律的特徴の分析・定式化、合成・認識手法の作成を中心として以下の成果を達成した。
1.スキー観光の問い合わせをトピックとした4種のシナリオを作成し、演劇経験がある東京方言話者10名による模擬対話音声と朗読音声を収録した。また、種々の態度、感情を付与した音声を収録した。感情については、程度を4段階としたものも収録した。
2.基本周波数パターンに微分・積分操作等を施すことによりアクセント成分を低減する手法を開発し、フレーズ指令の良好な推定を実現した。また、音素HMMを用いて発声内容既知の連続音声を音素単位に分割する手法を開発した。文中で精度ほぼ100%を達成した。
3.文中の発話速度の変化の定式化が、従来のような構分構造との関係ではなく、基本周波数パターンで定義される韻律構造との関係で良好に行えることを示した上で、発話速度の合成制御規則を作成した。
4.態度・感情を付与した音声の韻律的特徴を分析し、特に「怒り」では、話者により相反する特徴を示すことがあり、場面を考えた定式化が必要なことを示した。また、話者は感情を表現するための幾つかのcueを、程度によって適宜使い分けていることを示した。
5.柔軟な回路構成および自然音声波形の貼り付けが可能なフォルマント合成システムを作成し、特に、破裂音、摩擦音で品質向上を達成した。また、波形接続型の音声合成において、HMMによるセグメンテーションを導入して自動化を達成した。
6.基本周波数パターンをモ-ラ単位で表現し、その遷移を統計モデルで表現する手法を開発し、90%程度の句境界検出率、80%程度のアクセント型識別率を達成した。

Research Products

• [Publications] 倪晋富: "A quantitative model for generating sentence F_0 contours of spoken Chinese" Proc.1^<st> China-Japan Workshop on Spoken Language Processing. 103-110 (1997)
• [Publications] 広瀬啓吉: "Detecting phrase boundaries by low-pass filtering of fundamental frequency contours" Proc.1^<st> China-Japan Workshop on Spoken Language Processing. 117-122 (1997)
• [Publications] 岩野公司: "モ-ラ遷移確率モデルを用いた統語境界の検出" 電子情報通信学会技術研究報告(音声研究会). 33-40 (1997)
• [Publications] 岩野公司: "モ-ラ遷移確率モデルによる統語境界検出の改良" 日本音響学会平成9年度秋季研究発表会講演論文集. I. 133-134 (1997)
• [Publications] 川波弘道: "音声における態度・感情の韻律的特徴の分析" 日本音響学会平成9年度秋季研究発表会講演論文集. I. 233-234 (1997)
• [Publications] MERON Yoram: "Waveform concatenation speech synthesis using phonetic clustering and automatic unit selection" 日本音響学会平成9年度秋季研究発表会講演論文集. I. 263-264 (1997)
• [Publications] 広瀬啓吉: "Analysis of intonation in emotional speech" Proc.ESCA Tutorial and Research Workshop on Intonation:Theory,Models and Applications. 185-188 (1997)
• [Publications] 倪晋富: "Quantitative analysis and formulation of tone concatenation in Chinese F_0 contours" Proc.5th European Conference on Speech Communication and Technology. 1. 195-198 (1997)
• [Publications] 広瀬啓吉: "A method of representing fundamental frequency contours of Japanese using statistical models of moraic transition" Proc.5th European Conference on Speech Communication and Technology. 1. 311-314 (1997)
• [Publications] 川波弘道: "態度・感情音声における韻律的特徴の考察" 電子情報通信学会技術研究報告(音声研究会). 73-80 (1997)
• [Publications] MERON Yoram: "Waveform concatenation speech synthesis using phonetic clustering and sinusoidal modeling" 電子情報通信学会技術研究報告(音声研究会). 49-56 (1998)
• [Publications] 川波弘道: "対話音声における発話速度の分析と韻律規則の作成" 日本音響学会講演論文集. (発表予定). (1998)
• [Publications] 長谷川澄志: "柔軟な構成のターミナルアナログ音声合成システムとそれによる音声合成実験" 日本音響学会講演論文集. (発表予定). (1998)
• [Publications] 岩野公司: "モ-ラ遷移確率モデルを用いたアクセント句の表現" 日本音響学会講演論文集. (発表予定). (1998)
• [Publications] 広瀬啓吉: "Accent type recognition and syntactic boundary detection of Japanese using statistical modeling of moraic transitions of fundamental frequency contours" Proc.IEEE International Conference on Acoustics,Speech,& Signal Processing. (発表予定). (1998)
• [Publications] 河合剛: "A CALL system using speech recognition to train the pronunciation of Japanese tokushuhaku" Proc.ESCA Workshop on Speech Technology in Language Learning. (発表予定). (1998)
• [Publications] 広瀬啓吉: "Disambiguating recognition results by prosodic features (「Computing Prosody」のIV-21)" Springer-Verlag社, 401(16) (1997)
• [Publications] 広瀬啓吉: "対話音声の生成(「音声による人間と機械の対話」の第4章)" オーム社, 375(14) (1998)