音・映像情報の相補的結合に基づくハンズフリー音声コミュニケーションシステムの構築

• Project/Area Number: 14780288
• Research Category: Grant-in-Aid for Young Scientists (B)
• Allocation Type: Single-year Grants
• Research Field: Intelligent informatics
• Research Institution: Ritsumeikan University (2004); Wakayama University (2002-2003)
• Principal Investigator: 西浦 敬信 立命館大学, 情報理工学部, 助教授 (70343275)
• Project Period (FY): 2002 – 2004
• Project Status: Completed (Fiscal Year 2004)
• Budget Amount: ¥3,800,000 (Direct Cost: ¥3,800,000); Fiscal Year 2004: ¥1,100,000 (Direct Cost: ¥1,100,000); Fiscal Year 2003: ¥1,200,000 (Direct Cost: ¥1,200,000); Fiscal Year 2002: ¥1,500,000 (Direct Cost: ¥1,500,000)
• Keywords: ハンズフリー音声認識 / 音声コミュニケーション / 音情報 / 映像情報 / 相補的結合 / 実環境

Research Abstract

近年、遠隔発話音声受音の最有力候補として複数のマイクロホン素子を利用するマイクロホンアレーを用いた音声インタフェースの構築が高い注目を浴びている。
現在までのマイクロホンアレーを用いたハンズフリー音声認識・音声コミュニケーションの研究では、計算機上でのシミュレーションや実験室などの人為的に制御された環境においては、ある程度の成果を収めている。しかしながら、実際の環境(我々の生活環境)における性能は不十分であり、実用化は困難な状況であった。実際問題として人と人とのコミュニケーションでは、聴覚だけでなく視覚情報も最大限有効利用することにより、スムーズなコミュニケーションを実現している。そこで本研究では、平成14年度から平成16年度の3年間において、空間内の音情報だけでなく映像情報を積極的に利用することにより、環境内の雑音や残響に頑健な発話者同定やハンズフリー音声認識・音声コミュニケーションの実現を目指すものである。
平成16年度は、マイクロホンアレーを用いて獲得した音情報とビデオカメラを用いて獲得した映像情報を相補的に有機統合して、発話者の位置だけでなくその発話者の音声を高精度に抽出することも行い、さらに高精度なハンズフリー音声コミュニケーションシステムの構築を行った。またシステムが雑音環境下でも高精度に動作するよう、対雑音性においても重点的に研究を行った。
本年度の本研究成果として、学術雑誌論文5件、国際会議5件の採録を得た。本研究期間(3年間)において音・映像情報を相補的に結合したハンズフリー音声コミュニケーションシステムの構築を試み、ビデオカメラから取得した映像情報とマイクロホンアレーから取得した音情報を相補的に結合することによって実機にてリアルタイムで動作可能なシステムを構築することができた。

Research Products

• [Journal Article] Robust Speech Recognition Using Multiple Beamforming with Reflection Signal Equalization (2005)
  • Author(s): 西浦敬信, 中村哲, 鹿野清宏
  • Journal Title: GESTS International Transaction on Speech Science and Engineering Vol.2, No.1(掲載予定)
• [Journal Article] Talker Localization Based on the Combination of DOA Estimation and Statistical Sound Source Identification (2005)
  • Author(s): 西浦敬信, 中村哲
  • Journal Title: GESTS International Transaction on Acoustic Science and Engineering Vol.3, No.1(掲載予定)
• [Journal Article] Talker Localization Based on Subband CSP Analysis and Average Speech Spectrum (2005)
  • Author(s): 西浦敬信, 傳田遊亀
  • Journal Title: Joint Workshop on Hands-free Speech Communication and Microphone Array (発表予定)
• [Journal Article] Sound Source Identification Based on Hidden Markov Model for Robust Speech Recognition (2004)
  • Author(s): 西浦敬信, 中村哲, 鹿野清宏
  • Journal Title: GESTS International Transaction on Speech Science and Engineering Vol.1, No.2 Pages: 84-93
• [Journal Article] Speech Enhancement with Microphone Array and Fourier/Wavelet Spectral Subtraction in Real Noisy Environments (2004)
  • Author(s): 傳田遊亀, 西浦敬信, 河原英紀, 入野俊夫
  • Journal Title: GESTS International Transaction on Speech Science and Engineering Vol.1, No.2 Pages: 72-83
• [Journal Article] A Design of Audio-Visual Talker Tracking System Based on CSP Analysis and Frame Difference in Real Noisy Environments (2004)
  • Author(s): 傳田遊亀, 西浦敬信, 河原英紀, 入野俊夫
  • Journal Title: Proc.IEEE Workshop on Multimedia Signal Processing (MMSP2004) Pages: 63-66
• [Publications] 西浦敬信, 中山雅人, 中村哲: "An Evaluation of Adaptive Beamformer Based on Average Speech Spectrum for Noisy Speech Recognition"Proc.28th.IEEE International Conference on Acoustics, Speech, and Signal Processing. No.I. 668-671 (2003)
• [Publications] 西浦敬信, 中山雅人, 中村哲: "An Evaluation of Adaptive Beamformer Based on Average Speech Spectrum for Noisy Speech Recognition"Proc.4th.IEEE.International Conference on Multimedia and Expo. No.III. 209-212 (2003)
• [Publications] 西浦敬信, 中村哲, 三木一浩, 鹿野清宏: "Environmental Sound Source Identification Based on Hidden Markov Model For Robust Speech Recognition"Proc.8th.European Conference on Speech Communication and Technology. 2157-2160 (2003)
• [Publications] 傳田遊亀, 西浦敬信, 河原英紀: "Speech Enhancement with Microphone Array and Fourier/Wavelet Spectral Subtraction in Real Noisy Environments"Proc.8th.European Conference on Speech Communication and Technology. 2153-2156 (2003)
• [Publications] 西浦敬信, 中村哲: "Talker Localization Based on the Combination of DOA Estimation and Statistical Sound Source Identification with Microphone array"Proc.IEEE International Workshop on Statistical Signal Processing. 577-580 (2003)
• [Publications] 西浦敬信, 中村哲: "A Study of Environmental Sound Source Identification Based on Hidden Markov Model For Robust Speech Recognition"Proc.Meeting of Acoustic Society of America. 2399 (2003)
• [Publications] 西浦敬信, Rainer Gruhn, 中村哲: "A Design for a Collaborative Steering System of Microphone Array and Video Camera Toward Multi-Lingual Tele-Conferencing"The Journal of Information Processing Society of Japan. Vol.43, No.12. 3617-3620 (2002)
• [Publications] 岡田由加, 西浦敬信, 中村哲, 山田武志, 鹿野清宏: "A Design of Adaptive Beamformer Based on Average Speech Spectrum for Noisy Speech Recognition"The Journal of The Acoustical Society of Japan (E). Vol.23, No.6. 323-327 (2002)
• [Publications] 西浦敬信, 中村哲, 鹿野清宏: "Talker Localization in a Real Acoustic Environment Based DOA estimation and Statistical Sound Source Identification"Proc.27th.IEEE International Conference on Acoustics, Speech, and Signal Processing. 893-896 (2002)
• [Publications] 西浦敬信, 中村哲: "An Evaluation of Sound Source Identification with RWCP Sound Scene Database in Real Acoustic Environments"Proc.3rd.IEEE International Conference on Multimedia and Expo. 265-268 (2002)
• [Publications] 西浦敬信, 中村哲, 岡田由加, 山田武志, 鹿野清宏: "Suitable Design of Adaptive Beamformer Based on Average Speech Spectrum for Noisy Speech Recognition"Proc.7th.International Conference on Spoken Language Processing. 1789-1792 (2002)
• [Publications] 西浦敬信, 中山雅人, 中村哲: "An Evaluation of Adaptive Beamformer Based on Average Speech Spectrum for Noisy Speech Recognition"Proc.28th.IEEE International Conference on Acoustics, Speech, and Signal Processing. (発表予定). (2003)