高品質音声合成のための韻律制御

2003 年度 実績報告書

• 研究課題/領域番号: 12132202
• 研究機関: 東京大学
• 研究代表者: 広瀬 啓吉 東京大学, 大学院・新領域創成科学研究科, 教授 (50111472)
• 研究分担者: 小林 隆夫 東京工業大学, 大学院・総合理工学研究科, 教授 (70153616) ; 石塚 満 東京大学, 大学院・情報理工学系研究科, 教授 (50114369) ; 西田 豊明 東京大学, 大学院・情報理工学系研究科, 教授 (70135531) ; 徳田 恵一 名古屋工業大学, 工学部, 助教授 (20217483)
• キーワード: 音声合成 / 生成過程モデル / 回帰木 / 音声対話システム / 感情音声 / 発話速度 / HMM音声合成 / 平均声モデル

研究概要

種々の調子の音声を従来になく人間らしい抑揚で合成する技術を確立した上でユーザフレンドリな応答音声生成システムを構築することを目的として研究を進め、以下の成果を達成した。
1.テキストを入力として、文節境界、(FOパターン生成過程モデルの)フレーズ・アクセント指令、音素長を回帰木により推定する統合的な手法を開発した。学習用コーパスのモデルの指令は、自動的に抽出しているが、フレーズ指令に制約をかけることにより抽出精度を向上させ、より良好な指令の推定を達成した。HMM音声合成に組み込み、朗読音声の他、感情音声について実験を行い、怒りの表出が適正に行われていることを確認した。
2.昨年度開発した、エージェント音声対話システムで応答文の概念から音声合成を一貫して行う手法において、その韻律の面からの品質向上を行い、その効果を聴取実験により確認した。
3.プレゼンテーションを想定し、書き言葉で表記された文内容から、ジェスチャータグ付き話し言葉の文を自動的に生成する手法を開発した。生成された文から音声合成を行うための韻律制御の手法を検討した。
4.感情表現機能付きマルチモーダルプレゼンテーション記述言語MPMLの開発を進め、出力される感情音声の観点から評価を行った。また、試用実験により、感情音声がユーザに与える効果を調べた。
5.適応技術により任意の話者・調子の音声を生成するためのHMM音声合成用平均声モデルの品質改良を行った。学習データ量が限られている場合への対処手法として、文脈クラスタと話者適応学習を導入することを行った。また、モーフィングにより、種々の話者・調子の音声の合成が可能なことを示した。
6.スペクトル・F0・継続長を統一的に扱うHMM音声合成において、音素HMMの適応により感情音声を合成することを行った。聴取実験により、意図した感情が有効に伝達されることを確認した。

研究成果

• [文献書誌] Atsuhiro Sakurai: "Data-driven generation of F0 contours using a superpositional model"Speech Communication. 40・4. 535-549 (2003)
• [文献書誌] Keikichi Hirose: "Corpus-based synthesis of F0 contours for emotional speech using the generation process model"Proceedings 15th International Congress of Phonetic Sciences. 3. 2945-2948 (2003)
• [文献書誌] Keikichi Hirose: "Use of linguistic information for automatic extraction of F0 contour generation process model parameters"Proceedings 8th European Conference on Speech Communication and Technology. 1. 141-144 (2003)
• [文献書誌] Keikichi Hirose: "Corpus-based synthesis of fundamental frequency contours of Japanese using automatically-generated prosodic corpus and generation process model"Proccedings 8th European Conference on Speech Communication and Technology. 1. 333-336 (2003)
• [文献書誌] Keikichi Hirose: "Speech generation from concept for realizing conversation with an agent in a virtual room"Proceedings 8th European Conference on Speech Communication and Technology. 3. 1693-1696 (2003)
• [文献書誌] Keikichi Hirose: "Speech prosody in spoken language processing(invited)"Proccedings International Conference on Computer and Information Technology. 1. 20-27 (2003)
• [文献書誌] Keikichi Hirose: "Emotional speech synthesis with corpus-based generation of F_0 contours using generation process model"Proceedings of International Conference on Speech Prosody. 417-420 (2004)
• [文献書誌] Shuichi Narusawa: "Evaluation of an improved method for automatic extraction of model parameters from fundamental frequency contours of speech"Proceedings of International Conference on Speech Prosody. 443-446 (2004)
• [文献書誌] Qing Li: "Highlighting multimodal syhchronization for embodied conversational agent"Proceedings of the 2nd International Conference on Information Technology for Application(ICITA 2004). 17-20 (2004)
• [文献書誌] Helmut Prendinger: "Designing and evaluating animated agents as social actors"IEICE Transactions on Information and Systems. E86-D・8. 1378-1385 (2003)
• [文献書誌] Zhenglu Yang: "A two-model framework for multimodal presentation with life-like characters in flash medium"Proc.of 7th IASTED Int'l Conf.On Software Engineering and Applications(SEA 2003). 769-774 (2003)
• [文献書誌] Junichi Yamagishi: "A training method of average voice model for HMM-based speech synthesis"IEICE Trans.Fundamentals of Electronics, Communications and Computer Sciences. E86-A・8. 1956-1963 (2003)
• [文献書誌] Junich Yamagishi: "Modeling of various speaking styles and emotions for HMM-based speech synthesis"Proceedings 8th European Conference on Speech Communication and Technology. 3. 2461-2464 (2003)
• [文献書誌] 都築亮介: "HMM音声合成における感情表現のモデル化"電子情報通信学会技術研究報告. 103・206. 25-30 (2003)
• [文献書誌] Keiichi Tokuda: "Text-to-Speech Synthesis : New Paradigms and Advances(Edited by S.Narayanan, A.Alwan)"Prentice Hall. 23 (2004)