音声認識・理解における韻律情報の利用

2003 Fiscal Year Annual Research Report

• Project/Area Number: 12132203
• Research Institution: The University of Electro-Communications
• Principal Investigator: 尾関 和彦 電気通信大学, 電気通信学部, 教授 (50214135)
• Co-Investigator(Kenkyū-buntansha): 峯松 信明 東京大学, 大学院・情報理工学系研究科, 助教授 (90273333) ; 山下 洋一 立命館大学, 理工学部, 教授 (80174689) ; 吉田 利信 電気通信大学, 電気通信学部, 教授 (30114341) ; 高木 一幸 電気通信大学, 電気通信学部, 助手 (70272755) ; 荒木 雅弘 京都工芸繊維大学, 工芸学部, 助教授 (50252490)
• Keywords: 句頭アクセント核 / 仮説探索制御 / 局所話速 / 韻律係り受け解析 / アクセント情報 / 入力補完 / 音声自動要約 / 文重要度

Research Abstract

1.音声知覚における韻律の役割解明と音声認識への応用
(1)句頭アクセント核の検出とそれに基づく仮説探索制御を実装した.単語アクセントは前後の環境により変化するが,句頭に核が存在した場合は,その単語は必ず一型となる.この規則の基づき,句頭のF0情報よりその語が一型となる事後確率を求め,韻律スコアを導入した.連続音声認識システムJuliusに本モジュールを実装し,大語彙連続音声認識におけるその有効性を示した.
(2)音声の時間構造を,局所話速の分析を中心に,文内の文節継続長を決定する統計モデル,文節内のモーラ継続長制御モデル,モーラ内での子音継続時間長制御モデルの3階層でモデル化した.また,それぞれのモデルについて時間構造の知覚実験を行い,時間的制約について検討した.
2.発話の構文・意味解析における韻律情報の利用
(1)これまで利用した着目文節の直後のポーズと着目文節の直後の文節の直後のポーズに加えて,着目文節の直前のポーズを利用することにより,係り受け解析の精度が向上することを確認した.また,これらのポーズ情報にF0情報を加えることにより,さらなる解析精度の向上が得られた.
(2)多数の話者による音声データを用いて不特定話者条件の係り受け解析実験を行った結果,ポーズ長とF0特徴量のモデルは従来より簡単なものでよいこと,ポーズ長は平均音節継続長で正規化した方が良いことなどがわかった.また,大量のコーパスを用いて評価文に対する被覆率が高い係り受け規則を新たに作成した.
3.音韻情報と韻律情報を統合した音声認識・理解システム
ディクテーションシステムにおける入力補完候補の絞込みに,アクセント情報を利用する手法を開発した.また,アクセント情報の認識・ディクテーション・入力補完機能を統合した予測型音声入力システムを実装し,アクセント情報利用の有効性を検証した.
4.韻律的特徴を用いた講演音声の自動要約
重要文抽出によって講演音声の要約を自動生成するために,文単位と文重要度を韻律情報を利用して決定する手法について検討した.ポーズで区切られた発話単位境界に対し,文境界とすべきかどうかを判断する決定木を学習し94%の分類率を得た.文重要度の決定において,連続音声認識による誤りを含む言語情報奪利用する場合の方が,正しい言語情報を利用する場合よりも,韻律情報の効果が大きいことを示した.

Research Products

• [Publications] Akira Inoue: "Speech summarization of lecture speech using F0 parameters"Proc.of WESPAC8. TB45. (2003)
• [Publications] Akira Inoue: "Prediction of sentence importance for speech summarization using prosodic parameters"Proc.of Eurospeech 2003. 1193-1196 (2003)
• [Publications] Lu Meirong: "The use of multiple pause information in dependency structure analysis of spoken Japanese sentences"Proc.of Eurospeech 2003. 3173-3176 (2003)
• [Publications] Kazuyuki Takagi: "A neural network approach to dependency analysis of Japanese sentences using prosodic information"Proc.of Eurospeech 2003. 3177-3180 (2003)
• [Publications] Meirong Lu: "Recovery of dependency structure using multiple pause information"Proc.of Speech Prosody 2004. (発表予定). (2004)
• [Publications] Kazuyuki Takagi: "Dependency analysis of read Japanese sentences using pause information : A speaker independent case"Proc.of Speech Prosody 2004. (発表予定). (2004)
• [Publications] Akira Inoue: "Improvement of speech summarization using prosodic information"Proc.of Speech Prosody 2004. (発表予定). (2004)
• [Publications] Masahiro Araki: "Input prediction method of speech front end processor using prosodic information"Proc.of Speech Prosody 2004. (発表予定). (2004)
• [Publications] 井上章: "連続音声認識による言語情報と韻律情報を利用した講演音声の重要文抽出"電子情報通信学会技術研究報告. SP2003-126. 79-84 (2003)
• [Publications] 山下洋一: "重要文抽出による講演音声の自動要約"人文科学とコンピュータシンポジウム 2003論文集. 211-218 (2003)
• [Publications] 浜野紘一: "音声の文節的特長に着眼したパラ・非言語情報推定に関する実験的検討"電子情報通信学会音声研究会. (発表予定). (2004)
• [Publications] 井上章: "韻律情報と連続音声認識による言語情報を利用した講演音声の自動要約"日本音響学会2003年秋季研究発表会講演論文集. 2-6-15. 89-90 (2003)
• [Publications] 三上貴由: "講演音声要約における韻律的特徴に基づいた文重要度の回帰木による予測"日本音響学会2003年秋季研究発表会講演論文集. 2-6-16. 91-92 (2003)
• [Publications] 織原直史: "モーラ内での子音継続時間長制御の検討"日本音響学会2003年秋季研究発表会講演論文集. 2-Q-18. 347-348 (2003)
• [Publications] 高木一幸: "係り受け解析における韻律情報有効性の多数話者による評価"日本音響学会2004年春季研究発表会講演論文集. 1-7-14. 239-240 (2004)
• [Publications] 呂美蓉: "着目文節の前後のポーズ情報を利用した係り受け解析"日本音響学会2004年春季研究発表会講演論文集. 2-P-26. 381-382 (2004)
• [Publications] 小野寺栄: "マルチパス方式を用いた雑音環境下での単語音声認識-アクセント情報の利用-"日本音響学会2004年春季研究発表会講演論文集. 3-Q-9. 161-162 (2004)
• [Publications] 西田雅太: "ニューラルネットワークを用いた調音モデルパラメータに対する伝達特性の獲得"日本音響学会2004年春季研究発表会講演論文集. 2-P-1. 331-332 (2004)
• [Publications] 荒木雅弘: "韻律情報を利用した予測型音声入力システム"言語処理学会 第10回年次大会論文集. (発表予定). (2004)
• [Publications] 浜野紘一: "音声の音響的普遍構造に着眼した発話意図の推定に関する実験的検討"日本音響学会2004年春季研究発表会講演論文集. 3-8-6. 133-134 (2004)
• [Publications] 村上隆夫: "音声認識における語レベルの韻律利用に関する実験的検討"日本音響学会2004年春季研究発表会講演論文集. 3-Q-24. 191-192 (2004)