ハンズフリー音声認識システムにおける反射音の有効利用の研究

• Project/Area Number: 17700216
• Research Category: Grant-in-Aid for Young Scientists (B)
• Allocation Type: Single-year Grants
• Research Field: Perception information processing/Intelligent robotics
• Research Institution: Ritsumeikan University
• Principal Investigator: 西浦 敬信 Ritsumeikan University, 情報理工学部, 准教授 (70343275)
• Project Period (FY): 2005 – 2007
• Project Status: Completed (Fiscal Year 2007)
• Budget Amount: ¥3,300,000 (Direct Cost: ¥3,300,000); Fiscal Year 2007: ¥900,000 (Direct Cost: ¥900,000); Fiscal Year 2006: ¥1,100,000 (Direct Cost: ¥1,100,000); Fiscal Year 2005: ¥1,300,000 (Direct Cost: ¥1,300,000)
• Keywords: 音声認識 / 音響工学 / 信号処理 / ハンズフリー音声受音 / 耐残響性 / 反射音 / 画像、文章、音声等認識 / 情報システム

Research Abstract

本研究では、ハンズフリー音声認識システムの性能向上を目指して、低次の反射音を「雑音」として抑圧するのではなく「目的音」として有効利用できないかという着想に基づいた新しい反射音有効利用の枠組みの確立を目指して、科学研究費補助金交付期間内に次の点を明らかにすることを計画している。
1.ハンズフリー音声受音・認識システムに適した反射音・残響に関する新たな尺度の提案
2.1.の尺度に基づく、音声認識時に有効利用可能な反射音と残響分別の枠組みの確立
3.1.の尺度に基づく、反射音を有効利用したハンズフリー音声認識システムの構築
4.直接音レス環境(直接音受音不可環境)における反射音を用いたハンズフリー音声認識システムの構築
昨年度までの研究成果により、室内音響指標IS03382に基づく「2点間信号減衰量」はハンズフリー音声認識性能と相関が高いことに着目し、室内音響指標IS03382を用いて音声認識時に有効利用可能な初期の反射音と抑圧すべき後続の残響音との最適な分離時間が25ms-30ms程度であることを確認した。そこで本年度は昨年度までの研究成果をもとに、残響時間と室内音響指標IS03382を用いてハンズフリー音声音声認識性能の推定を試みた。この試みにより、直接音レス環境を含めて音源とマイクロホン間の伝達関数さえ事前に把握することができれば、高精度にハンズフリー音声認識性能を推定できることが明らかとなった。この研究成果により、あらゆる環境でハンズフリー音声認識性能を簡潔に把握できることから、さまざまな音声認識アプリケーションのフィールドテストなどに役立つと期待している。

Research Products

• [Journal Article] Omnidirectional Audio-Visual Talker Localization Based on Dynamic Fusion of Audio-Visual Features Using Validity and Reliability Criteria (2008)
  • Author(s): Yuki Denda, Takanobu Nishiura, and Yoichi Yamashita
  • Journal Title: IEICE Transactions on Information and Systems Vol.E91-D, No.3 Pages: 598-606
  • NAID: 10026801860
  • Peer Reviewed
• [Journal Article] 音響信頼度に基づく動的特徴量統合を用いた全方位マルチモーダル話者方位推定の検討 (2007)
  • Author(s): 傳田 遊亀, 西浦 敬信, 山下 洋一
  • Journal Title: 情報科学技術レターズ Pages: 127-130
  • Peer Reviewed
• [Journal Article] Investigations into Early and Late Reflections on Distant-talking Speech Recognition Toward Suitable Reverberation Criteria (2007)
  • Author(s): Takanobu Nishiura, Yoshiki Hirano, Yuki Denda, and Masato Nakayama
  • Journal Title: Proc. INTERSPEECH 2007 Pages: 1052-1055
  • Peer Reviewed
• [Journal Article] Noise-Robust Hands-free Voice Activity Detection With Adaptive Zero Crossing Detection using Talker Direction Estimation (2007)
  • Author(s): Yuki Denda, Takamasa Tanaka, Masato Nakayama, Takanobu Nishiura, and Yoichi Yamashita
  • Journal Title: Proc. INTERSPEECH 2007 Pages: 222-225
  • Peer Reviewed
• [Journal Article] Omnidirectional Audio-Visual Talker Localizer With Dynamic Feature Fusion Based on Validity and Reliability Criteria (2007)
  • Author(s): Yuki Denda, Takanobu Nishiura, and Yoichi Yamashita
  • Journal Title: Proc. INTERSPEECH 2007 Pages: 726-729
  • Peer Reviewed
• [Journal Article] A Study of Suitable Reverberation Criteria for Distant-talking Speech Recognition With Room Acoustic Parameters (2007)
  • Author(s): Takanobu Nishiura, Yoshiki Hirano, Yuki Denda, and Masato Nakayama
  • Journal Title: Proc. ICA2007 (CD-ROM proceedings)
  • Peer Reviewed
• [Journal Article] 話者方位情報とゼロ交差情報に基づくハンズフリー発話間検出の評価 (2007)
  • Author(s): 傳田遊亀, 田中貴雅, 中山雅人, 西浦敬信, 山下洋一
  • Journal Title: 情報処理学会研究報告 SLP音声言語情報処理 Vol. 2007, No.11 Pages: 109-114
• [Journal Article] 話者方位推定に基づく適応型ゼロ交差検出を用いたハンズフリー発話区間検出法の評価. (2007)
  • Author(s): 傳田遊亀, 田中貴雅, 中山雅人, 西浦敬信, 山下洋一
  • Journal Title: 日本音響学会2007年度春季研究発表会 Pages: 103-104
• [Journal Article] A Study of Suitable Reverberation Criterion for Distant-talking Speech Recognition Based on Early and Late Reflection (2006)
  • Author(s): Takanobu Nishiura, Yuki Denda
  • Journal Title: WESPAC IX 2006(The 9^<th> Western Pacific Acoustics Conference) Pages: 122-122
• [Journal Article] A Study of Hands-free Voice Activity Detection based on Weighted CSP Analysis and Zero Crossing Detector (2006)
  • Author(s): Takamasa Tanaka, Yuki Denda, Masato Nakayama, Takanobu Nishiura
  • Journal Title: WESPAC IX 2006(The 9^<th> Western Pacific Acoustics Conference) Pages: 201-201
• [Journal Article] Robust talker localization algorithm based on weighted CSP analysis and maximum likelihood estimation (2006)
  • Author(s): Yuki Denda, Takanobu Nishiura, Yoichi Yamashita
  • Journal Title: WESPAC IX 2006(The 9^<th> Western Pacific Acoustics Conference) Pages: 205-205
• [Journal Article] An Evaluation of Hands-free Voice Activity Detection Algorithm based on Weighted CSP Analysis and Zero Crossing Detector (2006)
  • Author(s): Takamasa Tanaka, Yuki Denda, Masato Nakayama, Takanobu Nishiura
  • Journal Title: 4th Joint Meeting of the ASA and the ASJ Vol. 120, No. 5 Pages: 3040-3040
• [Journal Article] An investigation of early reflection signal based on impulse response on automatic speech recognition (2006)
  • Author(s): Yoshiki Hirano, Yuki Denda, Masato Nakayama, Takanobu Nishiura
  • Journal Title: 4th Joint Meeting of the ASA and the ASJ Vol. 120, No. 5 Pages: 3042-3042
• [Journal Article] 初期反射音と後続残響音に基づく残響下音声認識性能の推定に関する検討 (2006)
  • Author(s): 西浦敬信, 平野良季, 傳田遊亀
  • Journal Title: 日本音響学会2006年度秋季研究発表会 Pages: 37-38
• [Journal Article] 雑音下音声区間検出手法評価基盤の構築 (2006)
  • Author(s): 北岡教英, 西浦敬信, 中山雅人, 藤本雅清, 山田武志, 滝口哲也, 山本一公, 宮島千代美, 柘植覚, 中村哲, 武田一哉, 黒岩眞吾
  • Journal Title: 日本音響学会2006年度秋季研究発表会 Pages: 103-104
• [Journal Article] マイクロホンアレーを用いた時間/空間情報に基づくハンズフリー発話区間検出法の評価 (2006)
  • Author(s): 田中貴雅, 傳田遊亀, 中山雅人, 西浦敬信
  • Journal Title: 日本音響学会2006年度秋季研究発表会
• [Journal Article] マイクロホンアレーを用いた時間/空間情報に基づくバンズフリー発話区間検出の検討 (2006)
  • Author(s): 傳田遊亀, 田中貴雅, 中山雅人, 西浦敬信, 山下洋一
  • Journal Title: 情報処理学会研究報告 SLP音声言語情報処理 Vol. 2006, No.73 Pages: 7-12
• [Journal Article] 雑音下音声認識評価ワーキンググループ活動報告 : 認識に影響する要因の個別評価環境 (2006)
  • Author(s): 北岡教英, 山田武志, 滝口哲也, 柘植覚, 山本一公, 宮島千代美, 西浦敬信, 中山雅人, 傳田遊亀, 藤本雅清, 田村哲嗣, 黒岩眞吾, 武田一哉, 中村哲
  • Journal Title: 電子情報通信学会技術研究報告 SP 音声 Vol. 106, No. 443 Pages: 1-6
  • NAID: 110006164188
• [Journal Article] CENSREC-1-C : 雑音下音声区間検出手法評価基盤の構築 (2006)
  • Author(s): 北岡教英, 山田武志, 柘植覚, 宮島千代美, 西浦敬信, 中山雅人, 傳田遊亀, 藤本雅清, 山本一公, 滝口哲也, 黒岩眞吾, 武田一哉, 中村哲
  • Journal Title: 情報処理学会研究報告 SLP音声言語情報処理 Vol. 2006, No.107 Pages: 1-6
• [Journal Article] Robust Talker Direction Estimation Based on Weighted CSP Analysis and Maximum Likelihood Estimation (2006)
  • Author(s): Yuki Denda, Takanobu Nishiura, Yoichi Yamashita
  • Journal Title: IEICE Trans.on Information and Systems Vol.E89-D No.3 Pages: 1050-1057
  • NAID: 110004719380
• [Journal Article] 音声認識における初期反射音の影響についての検討 (2006)
  • Author(s): 西浦敬信, 傳田遊亀
  • Journal Title: 日本音響学会2006年度春期全国大会講演論文集
• [Journal Article] Weighted CSP法と音声特徴量に基づくハンズフリー発話区間検出の検討 (2006)
  • Author(s): 田中貴雅, 傳田遊亀, 中山雅人, 西浦敬信
  • Journal Title: 日本音響学会2006年度春期全国大会講演論文集
• [Journal Article] マイクロホンアレーと全方位画像を用いたマルチモーダル発話者方向推定 (2006)
  • Author(s): 傳田遊亀, 西浦敬信, 山下洋一
  • Journal Title: 日本音響学会2006年度春期全国大会講演論文集
• [Journal Article] 音素特徴量に基づく適応形アレーの検討 (2006)
  • Author(s): 中山雅人, 西浦敬信, 山下洋一
  • Journal Title: 日本音響学会2006年度春期全国大会講演論文集
• [Journal Article] CSP係数サブストラクションと最尤推定に基づくCSP法の高精度化に関する検討 (2005)
  • Author(s): 傳田遊亀, 西浦敬信, 山下洋一
  • Journal Title: 日本音響学会2005年度秋期全国大会講演論文集 Pages: 205-206
• [Journal Article] 適応アルゴリズムを利用したフィルタ係数合成のためのマイクロホン素子校正法の検討 (2005)
  • Author(s): 中山雅人, 西浦敬信, 山下洋一
  • Journal Title: 日本音響学会2005年度秋期全国大会講演論文集 Pages: 697-698
• [Journal Article] Noise robust talker localization based on weighted CSP analysis with an average speech spectrum for microphone array steering (2005)
  • Author(s): Yuki Denda, Takanobu Nishiura, Yoicii Yamashita
  • Journal Title: 9th.European Conference on Speech Communication and Technology (EUROSPEECH2005) Pages: 2321-2324
• [Journal Article] A Study of Weighted CSP Analysis with Average Speech Spectrum for Noise Robust Talker Localization (2005)
  • Author(s): Yuki Denda, Takanobu Nishiura, Yoichi Yamashita
  • Journal Title: International Workshop on Acoustic Echo and Noise Control (IWAENC2005) Pages: 165-168
• [Journal Article] A Study of Talker Localization Based on Subband CSP Analysis in Real Noisy Environments (2005)
  • Author(s): Yuki DENDA, Takanobu NISHIURA, Hideki KAHAWARA, Toshio IRINO
  • Journal Title: International Workshop on Nonlinear Signal and Image Processing (NSIP2005) Pages: 320-323
• [Presentation] 実音場における反射特性を考慮した音声追跡法に基づく3次元音場シミュレータの構築 (2008)
  • Author(s): 山田 樹一郎, 傳田 遊亀, 中山 雅人, 西浦 敬信
  • Organizer: 日本音響学会2008年春季研究発表会
  • Place of Presentation: 千葉工業大学
  • Year and Date: 2008-03-19
• [Presentation] 室内音響指標を用いた残響下音声認識性能の評価 (2008)
  • Author(s): 平野 良季, 傳田 遊亀, 中山 雅人, 西浦 敬信
  • Organizer: 日本音響学会2008年春季研究発表会
  • Place of Presentation: 千葉工業大学
  • Year and Date: 2008-03-17
• [Presentation] 残響下音声認識評価基盤(CENSREC-4)の構築 (2008)
  • Author(s): 西浦 敬信, 中山 雅人, 傳田 遊亀, 北岡 教英, 山本 一公, 山田 武志, 藤本 雅清, 柘植 覚, 宮島 千代美, 滝口 哲也, 田村 哲嗣, 小川 哲司, 松田 繁樹, 黒岩 眞吾, 武田 一哉, 中村 哲
  • Organizer: 日本音響学会2008年春季研究発表会
  • Place of Presentation: 千葉工業大学
  • Year and Date: 2008-03-17
• [Presentation] 話者方位推定に基づくリアルタイム発話区間検出システムの開発 (2008)
  • Author(s): 西浦 敬信, 傳田 遊亀, 猿渡 洋, 鹿野 清宏
  • Organizer: 情報処理学会第70回全国大会
  • Place of Presentation: 筑波大学
  • Year and Date: 2008-03-14
• [Presentation] 雑音下音声認識評価ワーキンググループ活動報告:認識に影響する要因の個別評価環境(2) (2007)
  • Author(s): 北岡 教英, 山田 武志, 滝口 哲也, 柘植 覚, 山本 一公、宮島 千代美, 西浦 敬信, 中山 雅人, 傳田 遊亀, 藤本 雅清 田村 哲嗣, 松田 繁樹, 小川 哲司, 黒岩 眞吾, 武田 一哉, 中村 哲
  • Organizer: 情報処理学会第69回 音声言語情報処理研究会(SIG-SLP)
  • Place of Presentation: NTTコミュニケーション科学研究所
  • Year and Date: 2007-12-20
• [Presentation] 話者方位推定と適応ゼロ交差検出を用いた発話区間形成法の評価 (2007)
  • Author(s): 傳田 遊亀, 田中 貴雅, 中山 雅人, 西浦 敬信, 山下 洋一
  • Organizer: 日本音響学会2007年度秋季研究発表会
  • Place of Presentation: 山梨大学
  • Year and Date: 2007-09-19
• [Presentation] 室内音響指標を用いた残響下音声認識性能の分析と推定 (2007)
  • Author(s): 平野 良季, 傳田 遊亀, 中山 雅人, 西浦 敬信
  • Organizer: 日本音響学会2007年度秋季研究発表会
  • Place of Presentation: 山梨大学
  • Year and Date: 2007-09-19