音声認識・理解における韻律情報の利用

2001 年度 実績報告書

• 研究課題/領域番号: 12132203
• 研究種目: 特定領域研究(B)
• 研究機関: 電気通信大学
• 研究代表者: 尾関 和彦 電気通信大学, 電気通信学部, 教授 (50214135)
• 研究分担者: 山下 洋一 立命館大学, 理工学部, 教授 (80174689) ; 吉田 利信 電気通信大学, 電気通信学部, 教授 (30114341) ; 新美 康永 京都工芸繊維大学, 工芸学部, 教授 (00026030) ; 高木 一幸 電気通信大学, 電気通信学部, 助手 (70272755) ; 峯松 信明 東京大学, 大学院・情報理工学系研究科, 助教授 (90273333)
• キーワード: アクセント句境界 / N-gram言語モデル / 局所話速 / 換算モーラ数 / 韻律的係り受け解析 / 隠れマルコフモデル / アクセント型認識 / 講演音声自動要約

研究概要

1.音声知覚における韻律の役割解明と音声認識への応用
(1)アクセント句境界とそれ以外の境界間で単語遷移の確率分布が大きく異なることを明らかにした。この現象に基づいてN-gram言語モデルを作成したところ、正しいアクセント句境界を使用した場合だけでなく、自動抽出したアクセント句境界を使用した場合でもパープレキシティが減少することを確認した。
(2)話速感覚に合う局所話速の測定方法の検討を行い、換算モーラ数を導入した。これにより、特殊拍の影響が軽減されることを明らかにした。また、アクセント句程度の長さの発話2つを聴取し、どちらが速く聞こえるかを調べる聴覚実験を行い、換算モーラ数の導入によって感覚的な話速を表現できる可能性があることを示した。
2.発話の構文・意味解析における韻律情報の利用
これまでの研究で係り受け解析における有効性が明確であったポーズ長について、その特異な分布を精密に近似するモデルを導入し、係り受け解析の精度が向上することを確認した。また、各文節の基本周波数概形を2〜3次多項式で近似し、多次元の特徴量を抽出することにより、係り受け解析に有効な特徴量が得られることを明らかにした。
3.音韻情報と韻律情報を統合した音声認識・理解システム
連続音声認識にアクセント情報を利用するための基礎実験として、連続音声中の韻律句のアクセント型を隠れマルコフモデルにより認識する実験を行った。入力音声の各モーラをさらにいくつかの小単位に分ける際、重なりがない小拍に分割するよりも、ある程度重なりを持つ区間に分ける方がよいことを確認した。オープン実験で約66%の認識率を得た。
4.韻律的特徴を用いた講演音声の自動要約
テレビ論説番組の書き起こし文章に対し、各文の主観的な重要度と、音素長、パワー、基本周波数などの韻律的特徴量の関連を調べた。文節の平均基本周波数を予測するモデルを用いて各文節の基本周波数を正規化すると、文の重要度との相関がより高くなることを確認した。また、言語情報の併用により重要文抽出精度は向上するが、その場合でも韻律情報は有効であることを示した。

研究成果

• [文献書誌] 廣瀬幸由: "日本語読み上げ文の係り受け解析における韻律的特徴量の有効性"自然言語処理. Vol.8, No.4. 71-89 (2001)
• [文献書誌] Yasuhisa Niimi: "Synthesis of emotional speech using prosodically balanced VCV segments"Proceedings of 4th ISCA Tutorial and Research Workshop on Speech Synthesis (http://www.ssw4.org/proceddings.html). (2001)
• [文献書誌] Kazuyuki Takagi: "Pause information for dependency analysis of read Japanese sentences"Proceedings of 7th European Conference on Speech Communication and Technology. Vol.2. 1041-1044 (2001)
• [文献書誌] Youichi Yamashita: "Stochastic FO contour model based on the clustering of FO shapes of a syntactic unit"Proceedings of 7th European Conference on Speech Communication and Technology. Vol.1. 533-536 (2001)
• [文献書誌] Shi-wook Lee: "Incorporation of prosodic module for large vocabulary continuous speech recognition"Proceedings of ISCA Tutorial and Research Workshop on Prosody in Speech Recognition and Understanding. 97-101 (2001)
• [文献書誌] Nobuaki Minematsu: "Quantitative analysis of FO-induced variations of cepstrum coefficients"Proceedings of ISCA Tutorial and Research Workshop on Prosody in Speech Recognition and Understanding. 113-117 (2001)
• [文献書誌] Kazuhiko Ozeki: "The use of prosody in Japanese dependency structure analysis"Proceedings of ISCA Tutorial and Research Workshop on Prosody in Speech Recognition and Understanding. 123-126 (2001)
• [文献書誌] Nobuaki Minematsu: "N-gram language modeling of Japanese using prosodic boundaries"Proceedings of International Symposium on Prosody and Speech Processing. 175-178 (2002)
• [文献書誌] Kazuhiko Ozeki: "Recovery of Japanese dependency structure using prosodic information"Proceedings of International Symposium on Prosody and Speech Processing. 169-174 (2002)
• [文献書誌] 寺尾真: "韻律情報を利用したN-gram言語モデルの高精度化"日本音響学会秋季研究発表会講演論文集. 2-1-21. 89-90 (2001)
• [文献書誌] 井上章: "FOモデルを導入した重要文検出の検討"日本音響学会秋季研究発表会講演論文集. 1-2-4. 213-214 (2001)
• [文献書誌] 久保田新: "係り受け解析におけるポーズ・ピッチの利用法の検討"日本音響学会秋季研究発表会講演論文集. 2-2-8. 271-272 (2001)
• [文献書誌] 寺尾真: "アクセント句境界情報を利用したN-gram言語モデルの高精度化"電子情報通信学会技術研究報告. SP2001-101. 105-110 (2002)
• [文献書誌] 井上章: "要約のための重要文検出におけるFOモデルの利用"電子情報通信学会技術研究報告. SP2001-131. 47-54 (2002)
• [文献書誌] 佐々木啓友: "複合名詞に対する複合語アクセント規則"電子情報通信学会技術研究報告. SP2001-115. 9-15 (2002)
• [文献書誌] 谷迫孝司: "発話の速さ感を表す話速尺度の検討"日本音響学会春季講演論文集. 1-P-19. 389-390 (2002)
• [文献書誌] 久保田新: "韻律を利用した係り受け解析におけるポーズ・基本周波数情報の結合法の検討"日本音響学会春季講演論文集. 1-P-22. 395-396 (2002)
• [文献書誌] 木下育子: "マルコフモデルを用いたアクセント型の認識"電子情報通信学会技術研究報告. SP-2001-138(発表予定). (2002)