音・映像情報の相補的結合に基づくハンズフリー音声コミュニケーションシステムの構築

2003 年度 実績報告書

• 研究課題/領域番号: 14780288
• 研究機関: 和歌山大学
• 研究代表者: 西浦 敬信 和歌山大学, システム工学部, 助手 (70343275)
• キーワード: ハンズフリー音声認識 / 音声コミュニケーション / 音情報 / 映像情報 / 相補的結合 / 実環境

研究概要

近年、遠隔発話音声受音の最有力候補として複数のマイクロホン素子を利用するマイクロホンアレーを用いた音声インタフェースの構築が高い注目を浴びている。
現在までのマイクロホンアレーを用いたハンズフリー音声認識・音声コミュニケージョンの研究では、計算機上でのシミュレーションや実験室などの人為的に制御された環境においては、ある程度の成果を収めている。しかしながら、実際の環境(我々の生活環境)における性能は不十分であり、実用化は困難な状況であった。実際問題として人と人とのコミュニケーションでは、聴覚だけでなく視覚情報も最大限有効利用することにより、スムーズなコミュニケーションを実現している。そこで本研究では、平成14年度から平成16年度の3年間にかけて、空間内の音情報だけでなく映像情報を積極的に利用することにより、環境内の雑音や残響に頑健な発話者同定やハンズフリー音声認識・音声コミュニケーションの実現を目指すものである。
平成15年度は、マイクロホンアレーとビデオカメラを用いて獲得した発話者の音情報と映像情報を相補的に有機統合して、発話者の位置を高精度の推定する手法について提案し、実際にシステムを構築することに成功した。また前年度の成果である音声の平均スペクトルを用いた適応形ビームフォーマを改良し、実環境下においてさらに高精度に発話者の音声を強調する手法について提案した。本年度の本研究成果として、国際会議12件の採録を得た。来年度はマイクロホンアレーを用いて獲得した音情報とビデオカメラを用いて獲得した映像情報を相補的に有機統合して、発話者の位置だけでなくその発話者の音声を高精度に抽出することも含めて、ハンズブリー音声コミュニケーションシステムの構築を目指す。

研究成果

• [文献書誌] 西浦敬信, 中山雅人, 中村哲: "An Evaluation of Adaptive Beamformer Based on Average Speech Spectrum for Noisy Speech Recognition"Proc.28th.IEEE International Conference on Acoustics, Speech, and Signal Processing. No.I. 668-671 (2003)
• [文献書誌] 西浦敬信, 中山雅人, 中村哲: "An Evaluation of Adaptive Beamformer Based on Average Speech Spectrum for Noisy Speech Recognition"Proc.4th.IEEE.International Conference on Multimedia and Expo. No.III. 209-212 (2003)
• [文献書誌] 西浦敬信, 中村哲, 三木一浩, 鹿野清宏: "Environmental Sound Source Identification Based on Hidden Markov Model For Robust Speech Recognition"Proc.8th.European Conference on Speech Communication and Technology. 2157-2160 (2003)
• [文献書誌] 傳田遊亀, 西浦敬信, 河原英紀: "Speech Enhancement with Microphone Array and Fourier/Wavelet Spectral Subtraction in Real Noisy Environments"Proc.8th.European Conference on Speech Communication and Technology. 2153-2156 (2003)
• [文献書誌] 西浦敬信, 中村哲: "Talker Localization Based on the Combination of DOA Estimation and Statistical Sound Source Identification with Microphone array"Proc.IEEE International Workshop on Statistical Signal Processing. 577-580 (2003)
• [文献書誌] 西浦敬信, 中村哲: "A Study of Environmental Sound Source Identification Based on Hidden Markov Model For Robust Speech Recognition"Proc.Meeting of Acoustic Society of America. 2399 (2003)