マイク・スピーカーアレイと実時間追跡視覚とによる対象人物追従型遠隔伝声技術

2003 Fiscal Year Annual Research Report

• Project/Area Number: 15017279
• Research Institution: Tokyo University of Science
• Principal Investigator: 溝口 博 東京理科大学, 理工学部, 教授 (00262113)
• Keywords: 128ch大規模スピーカーアレイ / サウンドスポット形成 / 複数箇所サウンドスポット / 別内容音声 / 複数箇所同時 / 複数台カメラ / 広視野範囲 / 実時間顔追跡視覚

Research Abstract

本研究の目的は,実時間の動画像処理と音響信号処理とを融合させることにより,対象とする人の周りでのみ局所的に音のやりとりができる,新しい自然で非束縛型のヒューマンインタフェースを実現することにある.具体的には,「人の存在を認識」してその人に注意を向け,「聞き耳をたてる」形で音声を拾い,「耳元で語りかける」形で音を聴かせる技術の確立を目指す.今年度は,昨年度に続き「耳元で語りかける」技術に注力すると共に,「人の存在を認識」する技術にも着手した.
「耳元で語りかける」技術に関しては,昨年度,直交2軸16台(8×2)スピーカー(SP)アレイを用いスポット状高音圧分布の生成に成功した.ただし,これは一カ所のみであった.この成果を踏まえて,今年度はSP128台(32×4)の大規模SPアレイを構築し,別内容音声の複数箇所同時送出に成功した.すなわち,同時に複数の人の耳元で「それぞれ別の内容を語りかける」ことを可能とした.
「人の存在を認識」して注意を向ける技術に関しては,複数台のTVカメラと実時間顔追跡視覚とを組合せ,対象とする人が広い範囲で動いてもそれに追従してその人の位置座標を得ることに成功した.
今年度の具体的内容は次のとおりである.1)128チャンネル大規模SPアレイの構築,2)これを用いた別内容音声の複数箇所同時送出実験,および3)複数台カメラと顔追跡視覚との組合せによる広範囲実時間顔追跡実験.1)と2)は「耳元で語りかける」技術の一環である.正方形状配置の128ch大規模SPアレイにより,別内容音声のサウンドスポットを4カ所同時に生成できた.一方,3)は「人の存在を認識」する技術の一環である.複数台カメラと実時間顔追跡視覚とを用いることで,対象人物が動いても,広い範囲でその人の顔を追跡,顔位置の情報を得ることができた.

Research Products

• [Publications] H.G.Okuno, K.Nakadai, K.Hidai, H.Mizoguchi, H.Kitano: "Human-Robot Non-Verbal Interaction Empowered by Real-Time Auditory and Visual Multiple-Talker Tracking"Advanced Robotics. Vol.17,No.2. 115-130 (2003)
• [Publications] 中臺 一博, 日台 健一, 奥乃 博, 溝口 博, 北野 宏明: "ヒューマノイドを対象にした視聴覚統合による実時間人物追跡-アクティブオーディションと顔認識の統合-"日本ロボット学会誌. Vol.21,No.5. 517-525 (2003)
• [Publications] Y.Tamai, S.Kagami, H.Mizoguchi, K.Nagashima: "Simultaneous Generation/Capture of Multiple Focuses Sound Beams"Proceedings of 2003 IEEE International Conference on Systems, Man, and Cybernetics (SMC'03). 4613-4618 (2003)
• [Publications] K.Shinoda, Y.Tamai, H.Mizoguchi, S.Kagami, K.Nagashima: "Visually Steerable Sound Beam Forming Method Possible to Track Target Person by Real-Time Visual Face Tracking and Speaker Array"Proceedings of 2003 IEEE International Conference on Systems, Man, and Cybernetics (SMC'03). 2199-2204 (2003)
• [Publications] N.Hirai, H.Mizoguchi: "Visual Tracking of Human Back and Shoulder for Person Following Robot"Proceedings of the 2003 IEEE/ASME International Conference on Advanced Intelligent Mechatronics (AIM2003). 527-532 (2003)
• [Publications] N.Yamaguchi, H.Mizoguchi: "Robot Vision to Recognize both Face and Object for Human-Robot Ball Playing"Proceedings of the 2003 IEEE/ASME International Conference on Advanced Intelligent Mechatronics (AIM2003). 999-1004 (2003)