音声認識・理解における韻律情報の利用

2002 年度 実績報告書

• 研究課題/領域番号: 12132203
• 研究機関: 電気通信大学
• 研究代表者: 尾関 和彦 電気通信大学, 電気通信学部, 教授 (50214135)
• 研究分担者: 峯松 信明 東京大学, 大学院・情報理工学系研究科, 助教授 (90273333) ; 山下 洋一 立命館大学, 理工学部, 教授 (80174689) ; 吉田 利信 電気通信大学, 電気通信学部, 教授 (30114341) ; 高木 一幸 電気通信大学, 電気通信学部, 助手 (70272755) ; 荒木 雅弘 京都工芸繊維大学, 工芸学部, 助教授 (50252490)
• キーワード: アクセント句境界 / n-グラム言語モデル / 局所話速 / 韻律係り受け解析 / アクセント型認識 / 入力補完 / 音声自動要約 / 重要文

研究概要

1.音声知覚における韻律の役割解明と音声認識への応用
(1)これまでの研究で、日本語においては語頭のアクセント核が音声知覚において重要であるという知見を得ている。また、連続音声の句境界では、n-グラム言語モデルによる次単語の予測が困難であることを明らかにした。これらを基にして、句境界においてアクセント情報を利用する音声認識法を考案し、基礎実験を進めた。
(2)局所話速の算出方法の改良を行なった。3モーラ平均局所話速に対するモーラ継続時間長の分布を求め、基準モーラに対する伸縮率を求めた。この伸縮率を用いた局所話速の算出法により、前後の環境の影響を受けにくい局所話速を求めることができた。
2.発話の構文・意味解析における韻律情報の利用
韻律を利用した係り受け解析において、複数のポーズ情報を組み合わせて使用することにより、文正解率が向上することを明らかにした。また、韻律情報と着目文節の係り受け距離の統計的な関係をモデル化する関数としてニューラルネットワークを導入し、それによって文正解率が改善されることを確認した。
3.音韻情報と韻律情報を統合した音声認識・理解システム
昨年度開発したアクセント型認識手法をベースにして、アクセント情報を利用し音声入力補完を行なうディクテーションシステムの開発を進めた。このシステムは、入力冒頭の数音節から補完文字列集合を得るが、その候補絞込みのためにアクセント情報を利用する。プロトタイプを実装し、その動作を確認した。
4.韻律的特徴を用いた講演音声の自動要約
講演を構成する文の重要度を韻律的特徴から推定する手法について検討した。韻律的特徴として、基本周波数、パワー、音素時間長などのパラメータを文ごとに抽出した。韻律情報と言語情報を併用して重相関モデルにより重要文抽出を行なったところ、言語情報だけを用いた場合より、人手による抽出に近い結果が得られた。

研究成果

• [文献書誌] Nobuaki Minematsu: "Automatic estimation of accentual attribute values of words for accent sandhi rules of Japanese text-to-speech conversion"Trans. IEICE. (採録決定). (2003)
• [文献書誌] Nobuaki Minematsu: "Automatic estimation of accentual attribute values of words to realize accent sandhi in Japanese text-to-speech conversion"CD-ROM of IEEE Workshop on Speech Synthesis. (CD-ROM). (2002)
• [文献書誌] Keikichi Hirose: "Statistical language modeling with prosodic boundaries and its use for continuous speech recognition"Proceedings of ICSLP 2002. 937-940 (2002)
• [文献書誌] Keikichi Hirose: "Language modeling of Japanese using prosodic boundaries"Proceedings of International Conference on Speech Prosody 2002. 395-398 (2002)
• [文献書誌] 喜多竜二: "日本語テキスト音声合成を目的としたアクセント結合規則の構築と改良"電子情報通信学会音声研究会. SP2002-26. 13-18 (2002)
• [文献書誌] 中野信幸: "局所話速の算出方法の改良"日本音響学会2002年秋季研究発表会講演論文集. 3-10-11. 349-350 (2002)
• [文献書誌] Kazuyuki Takagi: "Combination of pause and FO information in dependency analysis of Japanese sentences"Proceedings of ICSLP 2002. 2. 1173-1176 (2002)
• [文献書誌] Kazuyuki Takagi: "The use of prosody for disambiguating Japanese dependency structure"Proceedings for Symposium on Prosody and Speech Processing. 181-186 (2003)
• [文献書誌] 沖本真美子: "韻律情報を用いた日本語読み上げ文の係り受け解析におけるニューラルネットワークの利用"日本音響学会2003年春季研究発表会講演論文集. (発表予定). (2003)
• [文献書誌] 呂美蓉: "日本語読み上げ文の係り受け解析における複数ポーズ情報の利用"日本音響学会2003年春季研究発表会講演論文集. (発表予定). (2003)
• [文献書誌] 大宮広義: "アクセント型を利用した音声入力補完方式の提案"情報処理学会第65回全国大会. (発表予定). (2003)
• [文献書誌] Akira Inoue: "Extraction of important sentences for speech summarization based on an FO model"The Journal of the Acoustical Society of Japan (E). 24,1. 35-37 (2003)
• [文献書誌] Youichi Yamashita: "Extraction of important sentences using FO information for speech summarization"Proceedings of ICSLP 2002. 2. 1181-1184 (2002)
• [文献書誌] 嶋寺和喜: "統計的FOモデルのためのパターン生成確率の検討"電子情報通信学会技術研究報告. SP2002-66. 1-6 (2002)
• [文献書誌] 井上章: "講演音声の自動要約のための韻律情報の利用"情報処理学会研究報告. SLP-43-8. 47-52 (2002)
• [文献書誌] 井上章: "音声要約のための重要文検出における韻律パラメータの利用"日本音響学会2002年秋季研究発表会講演論文集. 2-9-20. 101-102 (2002)
• [文献書誌] 三上貴由: "ポーズで分割した発話単位の韻律パラメータと文重要度の関係"日本音響学会2002年秋季研究発表会講演論文集. 3-10-1. 329-330 (2002)
• [文献書誌] 嶋寺和喜: "統計的FOモデルにおけるFOパターンクラスタリングの利用"日本音響学会2002年秋季研究発表会講演論文集. 3-10-19. 365-366 (2002)
• [文献書誌] 山下洋一: "音声認識・理解における韻律の利用…講演音声の自動要約…"平成14年電気関係学会関西支部連合大会講演論文集. S10-3. (2002)