• Search Research Projects
  • Search Researchers
  • How to Use
  1. Back to previous page

音声認識・理解における韻律情報の利用

Research Project

Project/Area Number 12132203
Research Category

Grant-in-Aid for Scientific Research on Priority Areas

Allocation TypeSingle-year Grants
Review Section Science and Engineering
Research InstitutionThe University of Electro-Communications

Principal Investigator

尾関 和彦  電気通信大学, 電気通信学部, 教授 (50214135)

Co-Investigator(Kenkyū-buntansha) 峯松 信明  東京大学, 大学院・情報理工学系研究科, 助教授 (90273333)
山下 洋一  立命館大学, 理工学部, 教授 (80174689)
吉田 利信  電気通信大学, 電気通信学部, 教授 (30114341)
高木 一幸  電気通信大学, 電気通信学部, 助手 (70272755)
荒木 雅弘  京都工芸繊維大学, 工芸学部, 助教授 (50252490)
新美 康永  京都工芸繊維大学, 工芸学部, 教授 (00026030)
Project Period (FY) 2000 – 2003
Project Status Completed (Fiscal Year 2003)
Budget Amount *help
¥63,400,000 (Direct Cost: ¥63,400,000)
Fiscal Year 2003: ¥20,100,000 (Direct Cost: ¥20,100,000)
Fiscal Year 2002: ¥20,700,000 (Direct Cost: ¥20,700,000)
Fiscal Year 2001: ¥22,600,000 (Direct Cost: ¥22,600,000)
Keywords句頭アクセント核 / 仮説探索制御 / 局所話速 / 韻律係り受け解析 / アクセント情報 / 入力補完 / 音声自動要約 / 文重要度 / アクセント句境界 / n-グラム言語モデル / アクセント型認識 / 重要文 / N-gram言語モデル / 換算モーラ数 / 韻律的係り受け解析 / 隠れマルコフモデル / 講演音声自動要約 / スペクトル包絡変動 / 韻律句境界情報 / 発話文係り受け解析 / 講演音声要約
Research Abstract

1.音声知覚における韻律の役割解明と音声認識への応用
(1)句頭アクセント核の検出とそれに基づく仮説探索制御を実装した.単語アクセントは前後の環境により変化するが,句頭に核が存在した場合は,その単語は必ず一型となる.この規則の基づき,句頭のF0情報よりその語が一型となる事後確率を求め,韻律スコアを導入した.連続音声認識システムJuliusに本モジュールを実装し,大語彙連続音声認識におけるその有効性を示した.
(2)音声の時間構造を,局所話速の分析を中心に,文内の文節継続長を決定する統計モデル,文節内のモーラ継続長制御モデル,モーラ内での子音継続時間長制御モデルの3階層でモデル化した.また,それぞれのモデルについて時間構造の知覚実験を行い,時間的制約について検討した.
2.発話の構文・意味解析における韻律情報の利用
(1)これまで利用した着目文節の直後のポーズと着目文節の直後の文節の直後のポーズに加えて,着目文節の直前のポーズを利用することにより,係り受け解析の精度が向上することを確認した.また,これらのポーズ情報にF0情報を加えることにより,さらなる解析精度の向上が得られた.
(2)多数の話者による音声データを用いて不特定話者条件の係り受け解析実験を行った結果,ポーズ長とF0特徴量のモデルは従来より簡単なものでよいこと,ポーズ長は平均音節継続長で正規化した方が良いことなどがわかった.また,大量のコーパスを用いて評価文に対する被覆率が高い係り受け規則を新たに作成した.
3.音韻情報と韻律情報を統合した音声認識・理解システム
ディクテーションシステムにおける入力補完候補の絞込みに,アクセント情報を利用する手法を開発した.また,アクセント情報の認識・ディクテーション・入力補完機能を統合した予測型音声入力システムを実装し,アクセント情報利用の有効性を検証した.
4.韻律的特徴を用いた講演音声の自動要約
重要文抽出によって講演音声の要約を自動生成するために,文単位と文重要度を韻律情報を利用して決定する手法について検討した.ポーズで区切られた発話単位境界に対し,文境界とすべきかどうかを判断する決定木を学習し94%の分類率を得た.文重要度の決定において,連続音声認識による誤りを含む言語情報奪利用する場合の方が,正しい言語情報を利用する場合よりも,韻律情報の効果が大きいことを示した.

Report

(4 results)
  • 2003 Annual Research Report
  • 2002 Annual Research Report
  • 2001 Annual Research Report
  • 2000 Annual Research Report
  • Research Products

    (63 results)

All Other

All Publications (63 results)

  • [Publications] Akira Inoue: "Speech summarization of lecture speech using F0 parameters"Proc.of WESPAC8. TB45. (2003)

    • Related Report
      2003 Annual Research Report
  • [Publications] Akira Inoue: "Prediction of sentence importance for speech summarization using prosodic parameters"Proc.of Eurospeech 2003. 1193-1196 (2003)

    • Related Report
      2003 Annual Research Report
  • [Publications] Lu Meirong: "The use of multiple pause information in dependency structure analysis of spoken Japanese sentences"Proc.of Eurospeech 2003. 3173-3176 (2003)

    • Related Report
      2003 Annual Research Report
  • [Publications] Kazuyuki Takagi: "A neural network approach to dependency analysis of Japanese sentences using prosodic information"Proc.of Eurospeech 2003. 3177-3180 (2003)

    • Related Report
      2003 Annual Research Report
  • [Publications] Meirong Lu: "Recovery of dependency structure using multiple pause information"Proc.of Speech Prosody 2004. (発表予定). (2004)

    • Related Report
      2003 Annual Research Report
  • [Publications] Kazuyuki Takagi: "Dependency analysis of read Japanese sentences using pause information : A speaker independent case"Proc.of Speech Prosody 2004. (発表予定). (2004)

    • Related Report
      2003 Annual Research Report
  • [Publications] Akira Inoue: "Improvement of speech summarization using prosodic information"Proc.of Speech Prosody 2004. (発表予定). (2004)

    • Related Report
      2003 Annual Research Report
  • [Publications] Masahiro Araki: "Input prediction method of speech front end processor using prosodic information"Proc.of Speech Prosody 2004. (発表予定). (2004)

    • Related Report
      2003 Annual Research Report
  • [Publications] 井上章: "連続音声認識による言語情報と韻律情報を利用した講演音声の重要文抽出"電子情報通信学会技術研究報告. SP2003-126. 79-84 (2003)

    • Related Report
      2003 Annual Research Report
  • [Publications] 山下洋一: "重要文抽出による講演音声の自動要約"人文科学とコンピュータシンポジウム 2003論文集. 211-218 (2003)

    • Related Report
      2003 Annual Research Report
  • [Publications] 浜野紘一: "音声の文節的特長に着眼したパラ・非言語情報推定に関する実験的検討"電子情報通信学会音声研究会. (発表予定). (2004)

    • Related Report
      2003 Annual Research Report
  • [Publications] 井上章: "韻律情報と連続音声認識による言語情報を利用した講演音声の自動要約"日本音響学会2003年秋季研究発表会講演論文集. 2-6-15. 89-90 (2003)

    • Related Report
      2003 Annual Research Report
  • [Publications] 三上貴由: "講演音声要約における韻律的特徴に基づいた文重要度の回帰木による予測"日本音響学会2003年秋季研究発表会講演論文集. 2-6-16. 91-92 (2003)

    • Related Report
      2003 Annual Research Report
  • [Publications] 織原直史: "モーラ内での子音継続時間長制御の検討"日本音響学会2003年秋季研究発表会講演論文集. 2-Q-18. 347-348 (2003)

    • Related Report
      2003 Annual Research Report
  • [Publications] 高木一幸: "係り受け解析における韻律情報有効性の多数話者による評価"日本音響学会2004年春季研究発表会講演論文集. 1-7-14. 239-240 (2004)

    • Related Report
      2003 Annual Research Report
  • [Publications] 呂美蓉: "着目文節の前後のポーズ情報を利用した係り受け解析"日本音響学会2004年春季研究発表会講演論文集. 2-P-26. 381-382 (2004)

    • Related Report
      2003 Annual Research Report
  • [Publications] 小野寺栄: "マルチパス方式を用いた雑音環境下での単語音声認識-アクセント情報の利用-"日本音響学会2004年春季研究発表会講演論文集. 3-Q-9. 161-162 (2004)

    • Related Report
      2003 Annual Research Report
  • [Publications] 西田雅太: "ニューラルネットワークを用いた調音モデルパラメータに対する伝達特性の獲得"日本音響学会2004年春季研究発表会講演論文集. 2-P-1. 331-332 (2004)

    • Related Report
      2003 Annual Research Report
  • [Publications] 荒木雅弘: "韻律情報を利用した予測型音声入力システム"言語処理学会 第10回年次大会論文集. (発表予定). (2004)

    • Related Report
      2003 Annual Research Report
  • [Publications] 浜野紘一: "音声の音響的普遍構造に着眼した発話意図の推定に関する実験的検討"日本音響学会2004年春季研究発表会講演論文集. 3-8-6. 133-134 (2004)

    • Related Report
      2003 Annual Research Report
  • [Publications] 村上隆夫: "音声認識における語レベルの韻律利用に関する実験的検討"日本音響学会2004年春季研究発表会講演論文集. 3-Q-24. 191-192 (2004)

    • Related Report
      2003 Annual Research Report
  • [Publications] Nobuaki Minematsu: "Automatic estimation of accentual attribute values of words for accent sandhi rules of Japanese text-to-speech conversion"Trans. IEICE. (採録決定). (2003)

    • Related Report
      2002 Annual Research Report
  • [Publications] Nobuaki Minematsu: "Automatic estimation of accentual attribute values of words to realize accent sandhi in Japanese text-to-speech conversion"CD-ROM of IEEE Workshop on Speech Synthesis. (CD-ROM). (2002)

    • Related Report
      2002 Annual Research Report
  • [Publications] Keikichi Hirose: "Statistical language modeling with prosodic boundaries and its use for continuous speech recognition"Proceedings of ICSLP 2002. 937-940 (2002)

    • Related Report
      2002 Annual Research Report
  • [Publications] Keikichi Hirose: "Language modeling of Japanese using prosodic boundaries"Proceedings of International Conference on Speech Prosody 2002. 395-398 (2002)

    • Related Report
      2002 Annual Research Report
  • [Publications] 喜多竜二: "日本語テキスト音声合成を目的としたアクセント結合規則の構築と改良"電子情報通信学会音声研究会. SP2002-26. 13-18 (2002)

    • Related Report
      2002 Annual Research Report
  • [Publications] 中野信幸: "局所話速の算出方法の改良"日本音響学会2002年秋季研究発表会講演論文集. 3-10-11. 349-350 (2002)

    • Related Report
      2002 Annual Research Report
  • [Publications] Kazuyuki Takagi: "Combination of pause and FO information in dependency analysis of Japanese sentences"Proceedings of ICSLP 2002. 2. 1173-1176 (2002)

    • Related Report
      2002 Annual Research Report
  • [Publications] Kazuyuki Takagi: "The use of prosody for disambiguating Japanese dependency structure"Proceedings for Symposium on Prosody and Speech Processing. 181-186 (2003)

    • Related Report
      2002 Annual Research Report
  • [Publications] 沖本真美子: "韻律情報を用いた日本語読み上げ文の係り受け解析におけるニューラルネットワークの利用"日本音響学会2003年春季研究発表会講演論文集. (発表予定). (2003)

    • Related Report
      2002 Annual Research Report
  • [Publications] 呂美蓉: "日本語読み上げ文の係り受け解析における複数ポーズ情報の利用"日本音響学会2003年春季研究発表会講演論文集. (発表予定). (2003)

    • Related Report
      2002 Annual Research Report
  • [Publications] 大宮広義: "アクセント型を利用した音声入力補完方式の提案"情報処理学会第65回全国大会. (発表予定). (2003)

    • Related Report
      2002 Annual Research Report
  • [Publications] Akira Inoue: "Extraction of important sentences for speech summarization based on an FO model"The Journal of the Acoustical Society of Japan (E). 24,1. 35-37 (2003)

    • Related Report
      2002 Annual Research Report
  • [Publications] Youichi Yamashita: "Extraction of important sentences using FO information for speech summarization"Proceedings of ICSLP 2002. 2. 1181-1184 (2002)

    • Related Report
      2002 Annual Research Report
  • [Publications] 嶋寺和喜: "統計的FOモデルのためのパターン生成確率の検討"電子情報通信学会技術研究報告. SP2002-66. 1-6 (2002)

    • Related Report
      2002 Annual Research Report
  • [Publications] 井上章: "講演音声の自動要約のための韻律情報の利用"情報処理学会研究報告. SLP-43-8. 47-52 (2002)

    • Related Report
      2002 Annual Research Report
  • [Publications] 井上章: "音声要約のための重要文検出における韻律パラメータの利用"日本音響学会2002年秋季研究発表会講演論文集. 2-9-20. 101-102 (2002)

    • Related Report
      2002 Annual Research Report
  • [Publications] 三上貴由: "ポーズで分割した発話単位の韻律パラメータと文重要度の関係"日本音響学会2002年秋季研究発表会講演論文集. 3-10-1. 329-330 (2002)

    • Related Report
      2002 Annual Research Report
  • [Publications] 嶋寺和喜: "統計的FOモデルにおけるFOパターンクラスタリングの利用"日本音響学会2002年秋季研究発表会講演論文集. 3-10-19. 365-366 (2002)

    • Related Report
      2002 Annual Research Report
  • [Publications] 山下洋一: "音声認識・理解における韻律の利用…講演音声の自動要約…"平成14年電気関係学会関西支部連合大会講演論文集. S10-3. (2002)

    • Related Report
      2002 Annual Research Report
  • [Publications] 廣瀬幸由: "日本語読み上げ文の係り受け解析における韻律的特徴量の有効性"自然言語処理. Vol.8, No.4. 71-89 (2001)

    • Related Report
      2001 Annual Research Report
  • [Publications] Yasuhisa Niimi: "Synthesis of emotional speech using prosodically balanced VCV segments"Proceedings of 4th ISCA Tutorial and Research Workshop on Speech Synthesis (http://www.ssw4.org/proceddings.html). (2001)

    • Related Report
      2001 Annual Research Report
  • [Publications] Kazuyuki Takagi: "Pause information for dependency analysis of read Japanese sentences"Proceedings of 7th European Conference on Speech Communication and Technology. Vol.2. 1041-1044 (2001)

    • Related Report
      2001 Annual Research Report
  • [Publications] Youichi Yamashita: "Stochastic FO contour model based on the clustering of FO shapes of a syntactic unit"Proceedings of 7th European Conference on Speech Communication and Technology. Vol.1. 533-536 (2001)

    • Related Report
      2001 Annual Research Report
  • [Publications] Shi-wook Lee: "Incorporation of prosodic module for large vocabulary continuous speech recognition"Proceedings of ISCA Tutorial and Research Workshop on Prosody in Speech Recognition and Understanding. 97-101 (2001)

    • Related Report
      2001 Annual Research Report
  • [Publications] Nobuaki Minematsu: "Quantitative analysis of FO-induced variations of cepstrum coefficients"Proceedings of ISCA Tutorial and Research Workshop on Prosody in Speech Recognition and Understanding. 113-117 (2001)

    • Related Report
      2001 Annual Research Report
  • [Publications] Kazuhiko Ozeki: "The use of prosody in Japanese dependency structure analysis"Proceedings of ISCA Tutorial and Research Workshop on Prosody in Speech Recognition and Understanding. 123-126 (2001)

    • Related Report
      2001 Annual Research Report
  • [Publications] Nobuaki Minematsu: "N-gram language modeling of Japanese using prosodic boundaries"Proceedings of International Symposium on Prosody and Speech Processing. 175-178 (2002)

    • Related Report
      2001 Annual Research Report
  • [Publications] Kazuhiko Ozeki: "Recovery of Japanese dependency structure using prosodic information"Proceedings of International Symposium on Prosody and Speech Processing. 169-174 (2002)

    • Related Report
      2001 Annual Research Report
  • [Publications] 寺尾真: "韻律情報を利用したN-gram言語モデルの高精度化"日本音響学会秋季研究発表会講演論文集. 2-1-21. 89-90 (2001)

    • Related Report
      2001 Annual Research Report
  • [Publications] 井上章: "FOモデルを導入した重要文検出の検討"日本音響学会秋季研究発表会講演論文集. 1-2-4. 213-214 (2001)

    • Related Report
      2001 Annual Research Report
  • [Publications] 久保田新: "係り受け解析におけるポーズ・ピッチの利用法の検討"日本音響学会秋季研究発表会講演論文集. 2-2-8. 271-272 (2001)

    • Related Report
      2001 Annual Research Report
  • [Publications] 寺尾真: "アクセント句境界情報を利用したN-gram言語モデルの高精度化"電子情報通信学会技術研究報告. SP2001-101. 105-110 (2002)

    • Related Report
      2001 Annual Research Report
  • [Publications] 井上章: "要約のための重要文検出におけるFOモデルの利用"電子情報通信学会技術研究報告. SP2001-131. 47-54 (2002)

    • Related Report
      2001 Annual Research Report
  • [Publications] 佐々木啓友: "複合名詞に対する複合語アクセント規則"電子情報通信学会技術研究報告. SP2001-115. 9-15 (2002)

    • Related Report
      2001 Annual Research Report
  • [Publications] 谷迫孝司: "発話の速さ感を表す話速尺度の検討"日本音響学会春季講演論文集. 1-P-19. 389-390 (2002)

    • Related Report
      2001 Annual Research Report
  • [Publications] 久保田新: "韻律を利用した係り受け解析におけるポーズ・基本周波数情報の結合法の検討"日本音響学会春季講演論文集. 1-P-22. 395-396 (2002)

    • Related Report
      2001 Annual Research Report
  • [Publications] 木下育子: "マルコフモデルを用いたアクセント型の認識"電子情報通信学会技術研究報告. SP-2001-138(発表予定). (2002)

    • Related Report
      2001 Annual Research Report
  • [Publications] Shi-wook Lee: "Efficient search strategy in large vocabulary continuous speech recognition using prosodic boundary information"Proceedings of ICSLP'2000. 4. 274-277 (2000)

    • Related Report
      2000 Annual Research Report
  • [Publications] Yukiyoshi Hirose: "Effectiveness of prosodic features in syntactic analysis of read Japanese sentences"Proceedings of ICSLP'2000. 3. 215-218 (2000)

    • Related Report
      2000 Annual Research Report
  • [Publications] 峯松信明: "日本語音声におけるスペクトル包絡と基本周波数間の依存性に関する定量的分析"電子情報通信学会技術研究報告. (発表予定). (2001)

    • Related Report
      2000 Annual Research Report
  • [Publications] 笠原力弥: "講演音声における重要文と韻律的特徴的関係"情報処理学会音声言語処理研究会報告. SLP-35-5. 25-30 (2001)

    • Related Report
      2000 Annual Research Report
  • [Publications] 中野信幸: "局所話速を用いた音素継続長の制御"日本音響学会講演論文集. I. 345-347 (2001)

    • Related Report
      2000 Annual Research Report

URL: 

Published: 2001-04-01   Modified: 2018-03-28  

Information User Guide FAQ News Terms of Use Attribution of KAKENHI

Powered by NII kakenhi