マイク・スピーカーアレイと実時間追跡視覚とによる対象人物追従型遠隔伝声技術

2002 Fiscal Year Annual Research Report

• Project/Area Number: 14019013
• Research Institution: Tokyo University of Science
• Principal Investigator: 溝口 博 東京理科大学, 理工学部, 助教授 (00262113)
• Keywords: 直交2軸スピーカアレイ / スポットフォーミング / 非束縛型ヒューマンインターフェース / 実装 / シミュレータ / 実時間処理 / 多チャンネル同時サンプル / 局所的高音圧分布

Research Abstract

本研究課題の目的は,実時間の動画像処理と音響信号処理とを融合させることにより,対象とする人の周りでのみ局所的に音のやりとりができるような,新しい自然な非束縛型ヒューマンインタフェースを実現することにある.
来るべき高齢化社会を目前に,人間共存・協調型機械への社会的必要性と期待とが高まっている.本特定領域研究が目指す「人に優しいIT」,そのための「人と共生する情報システム」の実現は,正にそのような社会的必要性と期待とを反映したものであるといえよう.そのようなシステムの実現には,システムが人をみて判る機能が不可欠である.この文脈で,人を見守り,人と直接,音声や身振りを介してやりとりできる知覚型ユーザインタフェース(PUI)への期待と要求が高まっているが,音声理解や対話以前の問題として,広範囲に動き回る人間に対し,離れたところから雑音無く音声を授受する手段さえも確立されていないのが現状である.まず,人の存在を認識してその人に注意を向け,言わば「聞き耳をたてる」ような形で音声を集音し,「耳元で語りかける」ような形で音を聴かせる技術の確立が急務である.
そこで本研究課題は,対象とする人の頭部周辺に「スポット状」の高感度・高音圧分布を作り出し,S/N比の高い集音・伝送を実現,たとえその人が動いてもそれに対してスポット状高感度・高音圧分布を追従させることが可能な対象人物追従型遠隔伝声システムの実現を目指す.このため具体的に本年度は,直交する2軸のスピーカーアレイによるスポット状高音圧分布の生成,すなわち「耳元で語りかける」効果の実現に取り組んだ.その結果,1)直交2軸スピーカーアレイのシミュレータ,2)実際に稼働する直交2軸スピーカーアレイの実システム,3)実システムによるスポット状高音圧分布生成の成功,の三項目が成果として得られた.

Research Products

• [Publications] H.Mizoguchi, et al.: "Virtual Earphone : Integration of Beam Forming by Speaker Array and Real-time Visual Face Tracking"Key Engineering Material. Vol.243-244. 117-122 (2003)
• [Publications] K.Nakadai, K.Hidai, H.G.Okuno, H.Mizoguchi, H.Kitano: "Real-time Auditory and Visual Multiple-speaker Tracking For Human-robot Interaction"Journal of Robotics and Mechatronics. Vol.14,No.5. 479-489 (2002)
• [Publications] H.Mizoguchi, et al.: "Motion Pattern Detection for Dynamic Facial Expression Understanding"Proceedings of ITC-CSCC 2002. 1760-1762 (2002)
• [Publications] H.Mizoguchi, et al.: "Invisible Messenger : A System to Whisper in a Person's Ear Remotely by Integrating Visual Tracking and Speaker Array"Proceedings of ITC-CSCC 2002. (CDROM). 1987-1900 (2002)
• [Publications] H.Mizoguchi, et al.: "Implementation of Invisible Messenger System to Whisper in a Person's Ear Remotely by Integrating Visual Face Tracking and Speaker Array"Proceedings of IEEE SMC'02. WA2N4(1)-WA2N4(5) (2002)
• [Publications] H.Mizoguchi, et al.: "Motion Image Pattern Detector for Dynamic Facial Expression Understanding and Tactile Motion Image Recognition"Proceedings of SEAL'02. 287-290 (2002)