自然な端末間コミュニケーションのための姿勢変化に伴う頭部・視線運動計測と音源定位

2004 Fiscal Year Annual Research Report

• Project/Area Number: 15700092
• Research Institution: Nagoya University
• Principal Investigator: 工藤 博章 名古屋大学, 情報科学研究科, 助教授 (70283421)
• Keywords: 端末 / コミュニケーション / 姿勢推定 / 奥行き推定 / ステレオビジョン / ロボット制御 / 位置 / 姿勢

Research Abstract

近年,端末間コミュニケーション手段として,カメラやマイクを設置して映像や音声を伝送することが行われているが,その際,奥行き情報としてのユーザの姿勢を利用しているものは,多くはない.
本研究では,端末の前でユーザが頭部(顔)の観察姿勢を変化させた時に,その顔の位置と姿勢を算出し,カメラを搭載した遠隔地にあるロボットアームの位置と姿勢を制御するシステムを実装した.ユーザの観察とロボットのアームの制御の同調により,単なるウェブカメラでの観察のような上下左右に対象を観察(2自由度)するだけではなく,位置の変化を実現することにより,ユーザが遠隔地で観察場所を移動して観察しているかのように対象物を観察することができるシステムを実現した.
ユーザ側の処理系で,端末に表示された映像を観察するユーザを2台のカメラで撮影し,色情報(肌色,黒色)を利用して顔領域を抽出し,得られた顔領域内の色情報から目と口の領域を抽出した.これらの特徴領域に対して三角測量法を用いて,3次元位置(3自由度)を算出する.目と口は同じ平面上にあることを仮定して,この面の法線方向を顔姿勢(2自由度)の値とした.これらの値を,イーサネットで接続された遠隔地の処理系に送り,ロボットアームの制御(位置及び姿勢:5自由度)を行った.ロボットアームにはCCDカメラが搭載され,この映像はユーザ側で表示される.このシステムに対して,操作性を検討した.映し出された対象物の側面位置に,ロボットアームに搭載されたカメラ位置を移動させ,側面を画面中央に映し出させる課題を行ったところ,適切な時間内で実行することができた.