高品質音声合成のための韻律制御

2003 Fiscal Year Annual Research Report

• Project/Area Number: 12132202
• Research Institution: The University of Tokyo
• Principal Investigator: 広瀬 啓吉 東京大学, 大学院・新領域創成科学研究科, 教授 (50111472)
• Co-Investigator(Kenkyū-buntansha): 小林 隆夫 東京工業大学, 大学院・総合理工学研究科, 教授 (70153616) ; 石塚 満 東京大学, 大学院・情報理工学系研究科, 教授 (50114369) ; 西田 豊明 東京大学, 大学院・情報理工学系研究科, 教授 (70135531) ; 徳田 恵一 名古屋工業大学, 工学部, 助教授 (20217483)
• Keywords: 音声合成 / 生成過程モデル / 回帰木 / 音声対話システム / 感情音声 / 発話速度 / HMM音声合成 / 平均声モデル

Research Abstract

種々の調子の音声を従来になく人間らしい抑揚で合成する技術を確立した上でユーザフレンドリな応答音声生成システムを構築することを目的として研究を進め、以下の成果を達成した。
1.テキストを入力として、文節境界、(FOパターン生成過程モデルの)フレーズ・アクセント指令、音素長を回帰木により推定する統合的な手法を開発した。学習用コーパスのモデルの指令は、自動的に抽出しているが、フレーズ指令に制約をかけることにより抽出精度を向上させ、より良好な指令の推定を達成した。HMM音声合成に組み込み、朗読音声の他、感情音声について実験を行い、怒りの表出が適正に行われていることを確認した。
2.昨年度開発した、エージェント音声対話システムで応答文の概念から音声合成を一貫して行う手法において、その韻律の面からの品質向上を行い、その効果を聴取実験により確認した。
3.プレゼンテーションを想定し、書き言葉で表記された文内容から、ジェスチャータグ付き話し言葉の文を自動的に生成する手法を開発した。生成された文から音声合成を行うための韻律制御の手法を検討した。
4.感情表現機能付きマルチモーダルプレゼンテーション記述言語MPMLの開発を進め、出力される感情音声の観点から評価を行った。また、試用実験により、感情音声がユーザに与える効果を調べた。
5.適応技術により任意の話者・調子の音声を生成するためのHMM音声合成用平均声モデルの品質改良を行った。学習データ量が限られている場合への対処手法として、文脈クラスタと話者適応学習を導入することを行った。また、モーフィングにより、種々の話者・調子の音声の合成が可能なことを示した。
6.スペクトル・F0・継続長を統一的に扱うHMM音声合成において、音素HMMの適応により感情音声を合成することを行った。聴取実験により、意図した感情が有効に伝達されることを確認した。

Research Products

• [Publications] Atsuhiro Sakurai: "Data-driven generation of F0 contours using a superpositional model"Speech Communication. 40・4. 535-549 (2003)
• [Publications] Keikichi Hirose: "Corpus-based synthesis of F0 contours for emotional speech using the generation process model"Proceedings 15th International Congress of Phonetic Sciences. 3. 2945-2948 (2003)
• [Publications] Keikichi Hirose: "Use of linguistic information for automatic extraction of F0 contour generation process model parameters"Proceedings 8th European Conference on Speech Communication and Technology. 1. 141-144 (2003)
• [Publications] Keikichi Hirose: "Corpus-based synthesis of fundamental frequency contours of Japanese using automatically-generated prosodic corpus and generation process model"Proccedings 8th European Conference on Speech Communication and Technology. 1. 333-336 (2003)
• [Publications] Keikichi Hirose: "Speech generation from concept for realizing conversation with an agent in a virtual room"Proceedings 8th European Conference on Speech Communication and Technology. 3. 1693-1696 (2003)
• [Publications] Keikichi Hirose: "Speech prosody in spoken language processing(invited)"Proccedings International Conference on Computer and Information Technology. 1. 20-27 (2003)
• [Publications] Keikichi Hirose: "Emotional speech synthesis with corpus-based generation of F_0 contours using generation process model"Proceedings of International Conference on Speech Prosody. 417-420 (2004)
• [Publications] Shuichi Narusawa: "Evaluation of an improved method for automatic extraction of model parameters from fundamental frequency contours of speech"Proceedings of International Conference on Speech Prosody. 443-446 (2004)
• [Publications] Qing Li: "Highlighting multimodal syhchronization for embodied conversational agent"Proceedings of the 2nd International Conference on Information Technology for Application(ICITA 2004). 17-20 (2004)
• [Publications] Helmut Prendinger: "Designing and evaluating animated agents as social actors"IEICE Transactions on Information and Systems. E86-D・8. 1378-1385 (2003)
• [Publications] Zhenglu Yang: "A two-model framework for multimodal presentation with life-like characters in flash medium"Proc.of 7th IASTED Int'l Conf.On Software Engineering and Applications(SEA 2003). 769-774 (2003)
• [Publications] Junichi Yamagishi: "A training method of average voice model for HMM-based speech synthesis"IEICE Trans.Fundamentals of Electronics, Communications and Computer Sciences. E86-A・8. 1956-1963 (2003)
• [Publications] Junich Yamagishi: "Modeling of various speaking styles and emotions for HMM-based speech synthesis"Proceedings 8th European Conference on Speech Communication and Technology. 3. 2461-2464 (2003)
• [Publications] 都築亮介: "HMM音声合成における感情表現のモデル化"電子情報通信学会技術研究報告. 103・206. 25-30 (2003)
• [Publications] Keiichi Tokuda: "Text-to-Speech Synthesis : New Paradigms and Advances(Edited by S.Narayanan, A.Alwan)"Prentice Hall. 23 (2004)