Study on Construction of Lecture Speech at University and Its Evaluation

• Project/Area Number: 18700173
• Research Category: Grant-in-Aid for Young Scientists (B)
• Allocation Type: Single-year Grants
• Research Field: Perception information processing/Intelligent robotics
• Research Institution: University of Yamanashi
• Principal Investigator: HIROMITSU Nishizaki University of Yamanashi, 大学院医学工学総合研究部, 助教 (40362082)
• Project Period (FY): 2006 – 2008
• Project Status: Completed (Fiscal Year 2008)
• Budget Amount: ¥3,800,000 (Direct Cost: ¥3,500,000、Indirect Cost: ¥300,000); Fiscal Year 2008: ¥1,300,000 (Direct Cost: ¥1,000,000、Indirect Cost: ¥300,000); Fiscal Year 2007: ¥1,000,000 (Direct Cost: ¥1,000,000); Fiscal Year 2006: ¥1,500,000 (Direct Cost: ¥1,500,000)
• Keywords: 音声ドキュメント検索 / 講義音声 / 音声データベース / 話し方評価 / 講演音声 / 音声認識 / 音響特徴量 / フィラー / 講義評価 / 言語モデル適応化 / インデキシング / 誤り訂正 / 適応化 / 言語モデル / WEB文書利用

Research Abstract

本研究では、大きく2つの技術を開発した。一つは収録した大学の講義や学会などの講演音声を処理し、それらの高精度に検索できる技術の開発、二つ目は、収録した講義・講演音声から、その話し方の評価を(半)自動で行う技術の開発である。講義・講演音声の検索はWebを利用する全く新しい方法を開発した。話し方の評価は、音響的な要因と言語的な要因双方から分析を行い、話し方の良し悪しを評価するための枠組みを構築した。

Research Products

• [Journal Article] Construction of a Test Collection for Spoken Document Retrieval from Lecture Audio Data (2009)
  • Author(s): T. Akiba, K. Aikawa, Y. Itoh, T. Kawahara, H. Nanjo, H. Nishizaki, N. Yasuda, Y. Yamashita, K. Itoh
  • Journal Title: 情報処理学会論文誌 Vol.50, No.2 Pages: 501-513
  • NAID: 130000120688
  • Peer Reviewed
• [Journal Article] 日本語講義音声コンテンツコーパスの作成と分析 (2009)
  • Author(s): 土屋雅稔、小暮悟、西崎博光、太田健吾、山本一公、中川聖一
  • Journal Title: 情報処理学会論文誌 Vol.50, No.2 Pages: 448-459
  • NAID: 110007970341
  • Peer Reviewed
• [Journal Article] 日本語講義音声コンテンツコーパスの作成と分析 (2009)
  • Author(s): 土屋雅稔
  • Journal Title: 情報処理学会論文誌 50 Pages: 448-459
  • Peer Reviewed
• [Journal Article] Construction of a Test Collection for Spoken Document Retrieval from Lecture Audio Data (2009)
  • Author(s): Tomoyoshi Akiba
  • Journal Title: 情報処理学会論文誌 50 Pages: 501-513
  • Peer Reviewed
• [Journal Article] Speech Recognition Performance of CJLC: Corpus of Japanese Lecture Contents (2008)
  • Author(s): S. Kogure, H. Nishizaki, M. Tsuchiya, K. Yamamoto, S. Togashi, S. Nakagawa
  • Journal Title: the Proceedings of the 9th annual conference of the International Speech Communication Association Pages: 1554-1557
  • Peer Reviewed
• [Journal Article] Is a Speech Recognizer Useful for Characteristic Analysis of Classroom Lecture Speech? (2008)
  • Author(s): K. Kobayashi, M. Somiya, H. Nishizaki, Y. Sekiguchi
  • Journal Title: Proceedings of the 9th annual conference of the International Speech Communication Association Pages: 1341-1344
  • Peer Reviewed
• [Journal Article] Developing Corpus of Japanese Classroom Lecture Speech Contents (2008)
  • Author(s): M. Tsuchiya, S. Kogure, H. Nishizaki, K. Ohta, S. Nakagawa
  • Journal Title: Proceeding of the 6th edition of the Language Resources and Evaluation Conference
  • Peer Reviewed
• [Journal Article] Test Collections for Spoken Document Retrieval from Lecture Audio Data (2008)
  • Author(s): T. Akiba, K. Aikawa, Y. Itoh, T. Kawahara, H. Nanjo, H. Nishizaki, N. Yasuda, Y. Yamashita, K. Itoh
  • Journal Title: Proceeding of the 6th edition of the Language Resources and Evaluation Conference
  • Peer Reviewed
• [Journal Article] Is a Speech Recognizer Useful for Characteristic Analysis of Classroom Lecture Speech? (2008)
  • Author(s): Kenji Kobayashi
  • Journal Title: Proceedings of the 9th annual conference of the International Speech Communication Association (CD-ROM) Pages: 1341-1344
  • Peer Reviewed
• [Journal Article] Speech Recognition Performance of CJLC : Corpus of Japanese Lecture Contents (2008)
  • Author(s): Satoru Kogure
  • Journal Title: Proceedings of the 9th annual conference of the International Speech Communication Association (CD-ROM) Pages: 1554-1557
  • Peer Reviewed
• [Journal Article] Test Collections for Spoken Document Retrieval from Lecture Audio Data (2008)
  • Author(s): Tomoyoshi Akiba
  • Journal Title: Proceeding of the 6th edition of the Language Resources and Evaluation Conference (CD-ROM)
  • Peer Reviewed
• [Journal Article] Developing Corpus of Japanese Classroom Lecture Speech Contents (2008)
  • Author(s): Masatoshi Tsuchiya
  • Journal Title: Proceeding of the 6th edition of the Language Resources and Evaluation Conference (CD-ROM)
  • Peer Reviewed
• [Journal Article] The Effect of Filled Pauses in a Lecture Speech on Impressive Evaluation of Listeners (2007)
  • Author(s): H.Nishizaki, M.Sohmiya, K.Kobayashi, Y.Sekiguchi
  • Journal Title: Proceedings of the 8th Annual Conference of International Speech Communication Association Pages: 2673-2676
  • Peer Reviewed
• [Journal Article] The Effect of Filled Pauses in a Lecture Speech on Impressive Evaluation of Listeners (2007)
  • Author(s): Hiromitsu Nishizaki, Mitsuhiro Sohmiya, Kenji Kobayashi, Yoshihiro Sekiguti
  • Journal Title: Proceedings.of the 8th Annual Conference of International Speech Communication Association Pages: 2673-2676
  • Peer Reviewed
• [Journal Article] Word Error Correction of Continuous Speech Recognition Using WEB Documents for Spoken Document Indexing (2006)
  • Author(s): H. Nishizaki, Y.Sekiguchi
  • Journal Title: Lecture Notes in Artificial Intelligence(Springer) No.4285 Pages: 213-221
  • Peer Reviewed
• [Journal Article] Word Error Correction of Continuous Speech Recognition Using WEB Documents for Spoken Document Indexing (2006)
  • Author(s): Hiromitsu Nishizaki, Yoshihiro Sekiguchi
  • Journal Title: Lecture Notes in Artificial Intelligence 4285 Pages: 213-221
• [Presentation] 音声認識結果に基づくSVM を用いた講義・講演音声中のフィラー検出の検討(日本音響学会2009年春季研究発表会、3-Q-19、pp.247-248) (2009)
  • Author(s): 宗宮充宏(西崎博光)
  • Organizer: 日本音響学会2009年春季研究発表会
  • Place of Presentation: 東京工業大学
  • Year and Date: 2009-03-19
• [Presentation] 音声認識結果に基づくSVMを用いた講義・講演音声中のフィラー検出の検討 (2009)
  • Author(s): 宗宮充宏
  • Organizer: 日本音響学会, 春季研究発表会
  • Place of Presentation: 東京工業大学
  • Year and Date: 2009-03-19
• [Presentation] 音声ドキュメント検索用テストコレクションにおける音節インデックスの効果(情報処理学会第71回全国大会、4Q-7, pp. 127-128) (2009)
  • Author(s): 前沢慎吾(西崎博光)
  • Organizer: 情報処理学会第71回全国大会
  • Place of Presentation: 立命館大学
  • Year and Date: 2009-03-11
• [Presentation] 音声ドキュメント検索用テストコレクションにおける音節インデックスの効果 (2009)
  • Author(s): 前沢慎吾
  • Organizer: 情報処理学会, 第71回講演論文集
  • Place of Presentation: 立命館大学
  • Year and Date: 2009-03-11
• [Presentation] 講義音声認識のためのLSAを利用した語彙推定手法の検討(第3回音声ドキュメント処理ワークショップ、pp.83-90) (2009)
  • Author(s): 藤原裕幸(西崎博光)
  • Organizer: 第3回音声ドキュメント処理ワークショップ
  • Place of Presentation: 豊橋技術科学大学
  • Year and Date: 2009-02-28
• [Presentation] 講義音声認識のためのLSAを利用した語彙推定手法の検討 (2009)
  • Author(s): 藤原裕幸
  • Organizer: 第3回音声ドキュメント処理ワークショップ
  • Place of Presentation: 豊橋技術科学大学
  • Year and Date: 2009-02-28
• [Presentation] 検索対象と類似性の高いWebページを利用した音声ドキュメント検索の検討(第3回音声ドキュメント処理ワークショップ、pp. 33-38) (2009)
  • Author(s): 杉本樹世貴(西崎博光)
  • Organizer: 第3回音声ドキュメント処理ワークショップ
  • Place of Presentation: 豊橋技術科学大学
  • Year and Date: 2009-02-27
• [Presentation] 検索対象と類似性の高いWebページを利用した音声ドキュメント検索の検討 (2009)
  • Author(s): 杉本樹世貴
  • Organizer: 第3回音声ドキュメント処理ワークショップ
  • Place of Presentation: 豊橋技術科学大学
  • Year and Date: 2009-02-27
• [Presentation] 講義・講演音声を対象としたフィラーの使い方自動評価システム(日本音響学会2008年秋季研究発表会、2-P-19、pp. 399-400) (2008)
  • Author(s): 宗宮充宏(西崎博光)
  • Organizer: 日本音響学会2008年秋季研究発表会
  • Place of Presentation: 九州大学
  • Year and Date: 2008-09-11
• [Presentation] 講義音声を対象とした音声評価と認識率の関係(日本音響学会2008年秋季研究発表会、2-P-18、pp.397-298) (2008)
  • Author(s): 小林健司(西崎博光)
  • Organizer: 日本音響学会2008年秋季研究発表会
  • Place of Presentation: 九州大学
  • Year and Date: 2008-09-11
• [Presentation] 講義音声を対象とした音声評価と認識率の関係 (2008)
  • Author(s): 小林健司
  • Organizer: 日本音響学会, 秋季研究発表会
  • Place of Presentation: 九州大学
  • Year and Date: 2008-09-11
• [Presentation] 講義・講演音声を対象としたフィラーの使い方自動評価システム (2008)
  • Author(s): 宗宮充宏
  • Organizer: 日本音響学会, 秋季研究発表会
  • Place of Presentation: 九州大学
  • Year and Date: 2008-09-11
• [Presentation] 話し言葉音声中のフィラー検出精度と音声認識率の関連性(第7回情報科学技術フォーラム、E-024、pp.191-192) (2008)
  • Author(s): 宗宮充宏(西崎博光)
  • Organizer: 第7回情報科学技術フォーラム
  • Place of Presentation: 慶應義塾大学
  • Year and Date: 2008-09-03
• [Presentation] 話し言葉音声中のフィラー検出精度と音声認識率の関連性 (2008)
  • Author(s): 宗宮充宏
  • Organizer: 第7回情報科学技術フォーラム
  • Place of Presentation: 慶応義塾大学
  • Year and Date: 2008-09-03
• [Presentation] 講義音声の自動評価のための各種特徴量の調査(第2回音声ドキュメント処理ワークショップ、pp.143-148) (2008)
  • Author(s): 小林健司(西崎博光)
  • Organizer: 第2回音声ドキュメント処理ワークショップ
  • Place of Presentation: 豊橋技術科学大学
  • Year and Date: 2008-03-01
• [Presentation] 講義音声認識のためのWEB文書を用いた言語モデルの適応化と語彙選択(第2回音声ドキュメント処理ワークショップ、pp.97-104) (2008)
  • Author(s): 徳田翔(西崎博光)
  • Organizer: 第2回音声ドキュメント処理ワークショップ
  • Place of Presentation: 豊橋技術科学大学
  • Year and Date: 2008-03-01
• [Presentation] 日本語講義音声コンテンツコーパスの構築と講義音声認識手法の検討(第2回音声ドキュメント処理ワークショップ、pp. 7-14) (2008)
  • Author(s): 小暮悟(西崎博光)
  • Organizer: 第2回音声ドキュメント処理ワークショップ
  • Place of Presentation: 豊橋科学技術大学
  • Year and Date: 2008-02-29
• [Presentation] 講義音声認識のためのWEB文書を用いた言語モデルの適応化と語彙選択 (2008)
  • Author(s): 徳田翔, 西崎博光, 関口芳廣
  • Organizer: 第2回音声ドキュメント処理ワークショップ
  • Place of Presentation: 豊橋技術科学大学
• [Presentation] 講義音声の自動評価のための各種特徴量の調査 (2008)
  • Author(s): 小林健司, 宗宮充宏, 名取賢, 西崎博光, 関口芳廣
  • Organizer: 第2回音声ドキュメント処理ワークショップ
  • Place of Presentation: 豊橋技術科学大学
• [Presentation] 日本語講義音声コンテンツコーパスの構築と講義音声認識手法の検討 (2008)
  • Author(s): 小暮悟, 西崎博光, 土屋雅稔, 富樫慎吾, 山本一公, 中川聖一
  • Organizer: 第2回音声ドキュメント処理ワークショップ
  • Place of Presentation: 豊橋技術科学大学
• [Presentation] 日本語講義コンテンツコーパスの構築と分析(日本音響学会2007年秋期講演発表会、1-3-4、pp.13-16) (2007)
  • Author(s): 小暮悟(西崎博光)
  • Organizer: 日本音響学会2007年秋期講演発表会
  • Place of Presentation: 山梨大学
  • Year and Date: 2007-09-19
• [Presentation] 講義音声の特徴分析(日本音響学会2007年秋期講演発表会、1-P-13、pp.429-432) (2007)
  • Author(s): 小林健司(西崎博光)
  • Organizer: 日本音響学会2007年秋期講演発表会
  • Place of Presentation: 山梨大学
  • Year and Date: 2007-09-19
• [Presentation] 講義音声の分析と評価(日本音響学会春期講演発表会、1-Q-14、pp.291-292) (2007)
  • Author(s): 小林健司(西崎博光)
  • Organizer: 日本音響学会春期講演発表会
  • Place of Presentation: 芝浦工業大学
  • Year and Date: 2007-03-13
• [Presentation] 音声ドキュメント検索テストコレクションの試作と基本検索性能評価(第1回音声ドキュメント処理ワークショップ、pp.73-80) (2007)
  • Author(s): 秋葉友良(西崎博光)
  • Organizer: 第1回音声ドキュメント処理ワークショップ
  • Place of Presentation: 豊橋技術科学大学
  • Year and Date: 2007-02-28
• [Presentation] 講義コンテンツの収集・分析および講義音声の認識手法に関する検討(第1回音声ドキュメント処理ワークショップ、pp.1-8) (2007)
  • Author(s): 小暮悟(西崎博光)
  • Organizer: 第1回音声ドキュメント処理ワークショップ
  • Place of Presentation: 豊橋技術科学大学
  • Year and Date: 2007-02-27
• [Presentation] 講義・講演音声自動評価のための音響・言語的分析(第1回音声ドキュメント処理ワークショップ、pp.9-16) (2007)
  • Author(s): 宗宮充宏(西崎博光)
  • Organizer: 第1回音声ドキュメント処理ワークショップ
  • Place of Presentation: 豊橋技術科学大学
  • Year and Date: 2007-02-27
• [Presentation] 日本語講義コンテンツコーパスの構築と分析 (2007)
  • Author(s): 小暮悟, 西崎博光, 山本一公, 土屋雅稔, 中川聖一
  • Organizer: 日本音響学会
  • Place of Presentation: 山梨大学
• [Presentation] 講義音声の特徴分析 (2007)
  • Author(s): 小林健司, 宗宮充宏, 西崎博光, 関口芳廣
  • Organizer: 日本音響学会
  • Place of Presentation: 山梨大学
• [Presentation] 音声ドキュメント検索評価のためのテストコレクションの試作(情報処理学会音声言語処理研究会、2006-SLP-64、pp.137-142) (2006)
  • Author(s): 伊藤克亘(西崎博光)
  • Organizer: 情報処理学会音声言語処理研究会
  • Place of Presentation: 名古屋大学
  • Year and Date: 2006-12-21