韻律制御に主体をおいた対話システム

2003 Fiscal Year Annual Research Report

• Project/Area Number: 12132205
• Research Institution: Waseda University
• Principal Investigator: 小林 哲則 早稲田大学, 理工学部, 教授 (30162001)
• Co-Investigator(Kenkyū-buntansha): 中川 聖一 豊橋技術科学大学, 工学部, 教授 (20115893) ; 菊池 英明 早稲田大学, 人間科学部, 講師 (70308261) ; 白井 克彦 早稲田大学, 理工学部, 教授 (10063702) ; 匂坂 芳典 早稲田大学, 大学院・国際情報通信研究科, 教授 (70339737) ; 甲斐 充彦 静岡大学, 工学部, 助教授 (60283496)
• Keywords: 音声対話システム / 韻律 / ターンテーキング

Research Abstract

今年度の成果は以下の通りである。
a)対話のリズムと韻律制御
前年度までの成果に基づいて、対話における話題境界の判別を題材に、韻律情報におけるアクセント句単位でのパラメータを用いて統計的なモデルを学習し、オープンデータに対しても人間と同程度の判別精度が得られることを確認した。(白井・菊池)
自然な対話システムを構築する上で重要なシステム側の相槌生成と話者交替のタイミングの決定を、韻律情報と表層的言語情報を用いて行う方法を開発した。この決定法を、実際に天気予報を題材にした雑談対話システムに実装し、被験者がシステムと対話することにより主観的な評価を行い、有用性を確認した。(中川)
b)対話音声理解応用
対話音声における繰り返しの訂正発話に関する特徴の統計的な分析結果を踏まえ、フレーズ単位の韻律的特徴の併用と訂正発話検出への適用を評価した。また、これらと併せた頑健な対話音声理解のため、フィラーの韻律的な特徴分析・モデル化の検討を行った。(甲斐)
c)対話音声合成応用
語彙の韻律的有標性について程度の副詞を用い、生成・聴覚の両面から分析を行い、自然な会話音声生成のための韻律的強勢制御を実現した。また、統計的計算モデルによる話速制御モデルを作成し、会話音声にみられる局所話速の分析を進め、自由な話速の制御を可能とした。さらに、韻律制御パラメータが合成音声の自然性品質に及ぼす影響を調べた。(匂坂)
d)対話システム
上記の成果をまとめ,対話システムを実装した。特に,顔表情の認識・生成システム,声表情の認識・生成システムなどを前年度までに開発した対話プラットホーム上に統合し,パラ言語情報の授受を可能とするリズムある対話システムを構築した。(小林)

Research Products

• [Publications] 大久保雅史, 望月亮, 蓑輪利光, 小林哲則: "波形重畳型音声合成における心的態度の再現性評価"第2回 情報科学技術フォーラム FIT2003 一般講演論文集. vol.2. 265-266 (2003)
• [Publications] 望月亮, 小林哲則: "PSOLA法における音質改善のための低域スペクトル包絡の補正方法"日本音響学会秋季研究発表会講演論文集. 319-320 (2003)
• [Publications] 藤江真也, 八木大三, 菊池英明, 小林哲則: "パラ言語情報を用いた音声対話システム"日本音響学会秋季研究発表会講演論文集. 39-40 (2003)
• [Publications] 藤江真也, 江尻康, 菊池英明, 小林哲則: "パラ言語の理解能力を有する対話ロボット"情報処理学会研究技術報告. SLP-48. 13-20 (2003)
• [Publications] 江尻康, 中島慶, 藤江真也, 小林哲則: "対話ロボットの動作中における頭部ジェスチャ認識"電子情報通信学会研究技術報告 PRMU2003-153. Vol.103,No.453. 13-18 (2003)
• [Publications] 小林 哲則: "ROBISUKE:新世代の対話ロボット"人工知能学科研究会資料. SIG-Challenge-0318-1. 1-6 (2003)
• [Publications] 細川健一郎, 藤江真也, 小林哲則: "検索・提案型対話システムのためのユーザとのインタラクションによる適応的意図理解"人工知能学会研究会資料. SIG-SLUD-A302. 21-28 (2003)
• [Publications] S.Fujie, Y.Ejiri, Y.Matsusaka, H.Kikuchi, T.Kobayashi: "Recognition of Para-Linguistic Information and Its Application to Spoken Dialogue System"IEEE ASRU2003(Automatic Speech Recognition and Understanding Workshop). 231-236 (2003)
• [Publications] 竹内真士, 北岡教英, 中川聖一: "韻律・表層的言語情報を発話タイミングに用いた雑談対話システム"情報処理学会研究報告. SLP-50-14. 87-92 (2004)
• [Publications] Kikuchi Hideaki, Maekawa Kikuo: "Performance of segmental and prosodic labeling of spontaneous speech"Proceedings of the ISCA & IEEE Workshop on Spontaneous Speech Processing and Recognition (SSPR2003). 191-194 (2003)
• [Publications] Kikuchi Hideaki, Maekawa Kikuo: "Evaluation of the effectiveness of X-JToBI : A new prosodic labeling scheme for spontaneous Japanese speech"proc.of 15th Int'l Congress of Phonetic Sciences. 579-582 (2003)
• [Publications] Maekawa Kikuo, Koiso Hanae, Kikuchi Hideaki, Yoneyama Kiyoko: "Use of a large-scale spontaneous speech corpus in the study of linguistic variation"proc.of 15th Int'l Congress of Phonetic Sciences. 643-664 (2003)
• [Publications] 菊池英明, 前川喜久雄, 五十嵐陽介, 米山聖子, 藤本雅子: "日本語話し言葉コーパスの音声ラベリング"音声研究. Vol.7,No.3. 16-26 (2003)
• [Publications] 大久保崇, 菊池英明, 白井克彦: "音声対話における韻律を用いた話題境界検出"信学技報. Vol.103,No.519. 235-240 (2003)
• [Publications] 山下琢美, 匂坂芳典: "程度副詞のFOにみられる対話音声の自然性知覚について"日本音響学会秋季研究発表会講演論文集. 219-220 (2003)
• [Publications] Takumi Yamashita, Yoshinori Sagisaka: "Generation and perception of FO markedness in conversational speech with adverbs expressing degrees"Eurospeech2003 Proc.. 173-176 (2003)
• [Publications] 山下琢美, 匂坂芳典: "発話語彙情報に基づく対話音声韻律制御の試み"日本音響学会春季研究発表会講演論文集. 267-268 (2004)
• [Publications] 小川博正, 匂坂芳典: "発話情報を用いたFO制御パラメータの自動抽出"日本音響学会春季研究発表会講演論文集. 265-266 (2004)
• [Publications] 武藤牧子, 加藤宏明, 津崎実, 匂坂芳典: "文節内音韻長伸縮の許容度に対する発話速度の効果"日本音響学会春季研究発表会講演論文集. 415-416 (2004)
• [Publications] Hiromasa Ogawa, Yoshinori Sagisaka: "Automatic Extraction of FO Control Parameters Using Utterance Information"SPEECH PROSODY2004. 447-456 (2004)
• [Publications] Yoshinori Sagisaka, Takumi Yamashita, Yoko Kokenawa: "Speech synthesis with attitude"SPEECH PROSODY2004. 401-404 (2004)
• [Publications] 武藤牧子, 加藤宏明, 津崎実, 匂坂芳典: "文中の音韻長伸縮の自然性許容に対する発話速度の効果"電子情報通信学会技術報告. 31-36 (2004)