音・映像情報の相補的結合に基づくハンズフリー音声コミュニケーションシステムの講築

2002 年度 実績報告書

• 研究課題/領域番号: 14780288
• 研究機関: 和歌山大学
• 研究代表者: 西浦 敬信 和歌山大学, システム工学部, 助手 (70343275)
• キーワード: ハンズフリー音声認識 / 音声コミュニケーション / 音情報 / 映像情報 / 相補的結合 / 実環境

研究概要

近年、遠隔発話音声受音の最有力候補として複数のマイクロホン素子を利用するマイクロホンアレーを用いた音声インタフェースの構築が高い注目を浴びている。
現在までのマイクロホンアレーを用いたハンズフリー音声認識・音声コミュニケーションの研究では、計算機上でのシミュレーションや実験室などの人為的に制御された環境においては、ある程度の成果を収めている。しかしながら、実際の環境(我々の生活環境)における性能は不十分であり、実用化は困難な状況であった。実際問題として人と人とのコミュニケーションでは、聴覚だけでなく視覚情報も最大限有効利用することにより、スムーズなコミュニケーションを実現している。そこで本研究では、平成14年度から平成16年度の3年間にかけて、空間内の音情報だけでなく映像情報を積極的に利用することにより、環境内の雑音や残響に頑健な発話者同定やハンズフリー音声認識・音声コミュニケーションの実現を目指すものである。
平成14年度は、実環境下でのマイクロホンアレーを用いた音情報に基づく発話者位置同定の検討と実環境におけるハンズフリ音声認識に特化したマイクロホンアレーの制御方法についての検討を行った。その結果、音情報により発話者位置を推定する方法について提案し、その結果に基づいて自動的にビデオカメラを制御することにより、発話者の位置推定・映像獲得することに成功した。また音声の平均スペクトルを用いた適応形ビームフォーマを提案し、実環境下において音声認識性能を向上させることにも成功した。本研究成果として、論文誌2件、国際会議8件の採録を得た。来年度以降はマイクロホンアレーを用いて獲得した音情報とビデオカメラを用いて獲得した映像情報を相補的に有機統合して、ハンズフリー音声コミュニケーションシステムの実現を目指す。

研究成果

• [文献書誌] 西浦敬信, Rainer Gruhn, 中村哲: "A Design for a Collaborative Steering System of Microphone Array and Video Camera Toward Multi-Lingual Tele-Conferencing"The Journal of Information Processing Society of Japan. Vol.43, No.12. 3617-3620 (2002)
• [文献書誌] 岡田由加, 西浦敬信, 中村哲, 山田武志, 鹿野清宏: "A Design of Adaptive Beamformer Based on Average Speech Spectrum for Noisy Speech Recognition"The Journal of The Acoustical Society of Japan (E). Vol.23, No.6. 323-327 (2002)
• [文献書誌] 西浦敬信, 中村哲, 鹿野清宏: "Talker Localization in a Real Acoustic Environment Based DOA estimation and Statistical Sound Source Identification"Proc.27th.IEEE International Conference on Acoustics, Speech, and Signal Processing. 893-896 (2002)
• [文献書誌] 西浦敬信, 中村哲: "An Evaluation of Sound Source Identification with RWCP Sound Scene Database in Real Acoustic Environments"Proc.3rd.IEEE International Conference on Multimedia and Expo. 265-268 (2002)
• [文献書誌] 西浦敬信, 中村哲, 岡田由加, 山田武志, 鹿野清宏: "Suitable Design of Adaptive Beamformer Based on Average Speech Spectrum for Noisy Speech Recognition"Proc.7th.International Conference on Spoken Language Processing. 1789-1792 (2002)
• [文献書誌] 西浦敬信, 中山雅人, 中村哲: "An Evaluation of Adaptive Beamformer Based on Average Speech Spectrum for Noisy Speech Recognition"Proc.28th.IEEE International Conference on Acoustics, Speech, and Signal Processing. (発表予定). (2003)