2001 Fiscal Year Annual Research Report

人間の意図・行動理解に基づく柔軟なヒューマン・マシン・インタラクションの実現

Research Project

Project/Area Number	13224051
Research Category	Grant-in-Aid for Scientific Research on Priority Areas (C)
Research Institution	Kyoto University
Principal Investigator	松山隆司京都大学, 情報学研究科, 教授 (10109035)
Co-Investigator(Kenkyū-buntansha)	杉本晃宏京都大学, 情報学研究科, 講師 (30314256) 佐藤洋一東京大学, 生産技術研究所, 助教授 (70302627)
Keywords	装着型視覚センサ / 視線情報 / 注視点制御 / 運動軌跡推定 / マルチカメラネットワーク / 非接触実時間計測 / 複数指先軌跡計測 / マン・マシン・インタフェース
Research Abstract	視線測定装置と2台の能動カメラで構成される装着型視覚システムを構築した。そして、見ている点の奥行きが変わるような現実的な環境下でも正確に視線情報を検出するキャリブレーション法を考案した。また、装着者の視線情報から、その人が注視しているかどうかをシステムが判断し、3次元シーン中の注視している領域を平面凸多角形として抽出し、その3次元情報を獲得する手法を考案した。さらに、装着型能動カメラを用いて、3次元空間中で自由に移動するその人物の運動を逐次的に推定する手法を考案した。そこでは、それぞれのカメラで独立に、空間中のある点に絶えずカメラの視線が向くように能動カメラを制御する2眼独立注視点制御を行う。このとき、2台のカメラは視野を共有する必要はなく、各カメラは、独立に、注視点制御を行うと同時に注視点周辺の直線を検出し、連続する2フレーム間で直線対応をとればよいだけである。一方、ユビキタス・コンピューティング環境を実現するために、PC群とカメラ群間に構築するネットワークについて検討した。そして、複数カメラでの同期撮影や、カメラの動的な切り替えが可能で、1対1、1対多、あるいは多対1のいずれの方法でも通信が行える「マルチカメラネットワークシステム」を提案した。具体的には、マルチカメラネットワークシステムに必要なネットワークプロトコルを提案し、それを実現するために必要となる中継装置の設計を行った。また、提案したプロトコルを実装したPCでの測定結果を用いて、再同期の間隔や、中継装置を介して画像転送する際の遅延時間について推測した。一方、ユーザの身振りなどの身体動作を非接触かつ実時間で安定に計測するための技術として、カルマンフィルタによる複数指先位置予測とフレーム間対応付けを用いた複数指先軌跡計測手法を開発した。また、ユーザの身体動作をマン・マシン・インタフェースへ自然な形で利用するために、ダイレクトマニピュレーションとシンボリックジェスチャの2つのモードを認識し利用する機構を提案し、描画などの具体的なタスクを対象としてその有効性を実験的に検証した。更に、両手を用いて描画作業などを行う際に、左右の手の運動パターンの違いに着目し、手による直接操作に適した新しいメニュー提示法などについても提案している。また、室内空間全体に情報ディスプレイ機能を付加するための技術として、ズームおよびフォーカスを計算機により制御可能なプロジェクタの製作、カメラ+プロジェクタ系のキャリブレーションなどを完了した。

Research Products

(6 results)

All Other

All Publications (6 results)

[Publications] 杉本, 中山, 松山: "視線情報とステレオ視を用いた注視領域の抽出"ヒューマンインタフェースシンポジウム2001. 441-444 (2001)
[Publications] 川嶋, 松山: "連続状態遷移モデル間の相互作用に基づく多視点動作認識"電子情報通信学会パターン認識・メディア理解研究会報告. PRMU 2001-105. 47-54 (2001)
[Publications] H.Koike, Y.Sato, Y.Kobayashi: "Integrating paper and digital information on EnhancedDesk : a method for real-time finger tracking on augmented desk system"ACM Transactions on Computer-Human Interaction. (掲載予定). (2002)
[Publications] H.Koike, X.Chen, Y.Nakanishi, K.Oka, Y.Sato: "Real-time Tracking of Multiple Fingertips and Gesture Recognition for Augmented Desk Interface Systems"IEEE International Conference on Automatic Face and Gesture Recognition (FG 2002). (発表予定). (2002)
[Publications] H.Koike, X.Chen, Y.Nakanishi, K.Oka, Y.Sato: "Two-handed drawing on augmented desk"2002 ACM Conf.Human Factors in Computing Systems (SIGCHI 2002). (発表予定).
[Publications] 築澤, 杉本, 松山: "装着型視覚センサを用いた対象の3次元形状復元"情報処理学会CVIM研究会. (発表予定). (2002)

2001 Fiscal Year Annual Research Report

人間の意図・行動理解に基づく柔軟なヒューマン・マシン・インタラクションの実現

Principal Investigator

松山 隆司 京都大学, 情報学研究科, 教授 (10109035)

Research Products

[Publications] 杉本, 中山, 松山: "視線情報とステレオ視を用いた注視領域の抽出"ヒューマンインタフェースシンポジウム2001. 441-444 (2001)

[Publications] 川嶋, 松山: "連続状態遷移モデル間の相互作用に基づく多視点動作認識"電子情報通信学会パターン認識・メディア理解研究会報告. PRMU 2001-105. 47-54 (2001)

[Publications] H.Koike, Y.Sato, Y.Kobayashi: "Integrating paper and digital information on EnhancedDesk : a method for real-time finger tracking on augmented desk system"ACM Transactions on Computer-Human Interaction. (掲載予定). (2002)

[Publications] H.Koike, X.Chen, Y.Nakanishi, K.Oka, Y.Sato: "Real-time Tracking of Multiple Fingertips and Gesture Recognition for Augmented Desk Interface Systems"IEEE International Conference on Automatic Face and Gesture Recognition (FG 2002). (発表予定). (2002)

[Publications] H.Koike, X.Chen, Y.Nakanishi, K.Oka, Y.Sato: "Two-handed drawing on augmented desk"2002 ACM Conf.Human Factors in Computing Systems (SIGCHI 2002). (発表予定).

[Publications] 築澤, 杉本, 松山: "装着型視覚センサを用いた対象の3次元形状復元"情報処理学会CVIM研究会. (発表予定). (2002)

松山隆司京都大学, 情報学研究科, 教授 (10109035)