2001 Fiscal Year Annual Research Report

複合コミュニティ空間のための人物動作理解と人物映像加工に基づく視覚増強機構

Research Project

Project/Area Number	11230202
Research Institution	University of Tsukuba
Principal Investigator	大田友一筑波大学, 機能工学系, 教授 (50115804)
Co-Investigator(Kenkyū-buntansha)	北原格筑波大学, 機能工学系, 助手 (70323277) 坂上勝彦産業技術総合研究所, 知能システム研究部門, 総括研究員中村裕一筑波大学, 機能工学系, 助教授 (40227947) 星野准一筑波大学, 機能工学系, 講師 (40313556)
Keywords	視覚支援 / 視覚メディア / 複合現実感 / 拡張現実感 / アイコンタクト / ヘッド・マウンテッド・ディスプレイ / 注目の共有 / 顔画像
Research Abstract	本研究では,複合現実感を実現する副作用として欠落する視覚情報を補完し,さらに一層増強するためのパターン認識・理解技術を研究した。具体的には,複数の人間の視覚的な情報交換の基本である,(1)互いの顔や動作を視認することによる相手の状態把握のための視覚支援,(2)指差しなどによる第三物体への注目の共有のための視覚支援,の2点について,これらを自然なかたちで支援できる複合コミュニティ空間のプロトタイプ構築を通して,人間が中心の実時間対話環境を前提とした新しいパターン認識・理解の枠組みを追求した。本年度は,HMDを装着した人間同士のアイコンタクトを可能にするためのリアルタイム顔画像加工技術と現実空間の人物への重畳技術,動作及び発話からの指示物体認識技術と映像アイコンとしての蓄積・伝送・提示技術,視線と指差しによる注目物体の推定技術とその強調提示技術,の各要素技術の開発を並行して行うとともに,複合コミュニティ空間のプロトタイプを構築し,要素技術を統合することによって当初の研究目標の視覚支援が実現可能であることを実証した。 ○実写画像を基にした任意方向・任意表情の顔画像の合成手法をベースに,HMDをかけた人物の顔にHMDをかけていない状態の顔画像をリアルタイムで重ね合わせる技術を開発し,アイコンタクトの復元が可能であることの見通しを得た。 ○人間のコミュニケーションにおいて特に重要である指示動作・例示動作を注目共有に利用するため,プレゼンテーションにおける指示動作を抽出する方法をベースとしてリアルタイムで注目物体を推定し追尾する手法を開発し,仮想マーカによる注目物体の強調提示や,注目物体のアノテーションを文字や映像で提示することを実現した。

Research Products
(6 results)

All Other

All Publications (6 results)

[Publications] Yuichi Ohta: "Share-Z Client/Server Depth Sensing for See-Through Head-Mounted Displays"PRESENCE. 11.2. 176-188 (2002)
[Publications] Yuichi Ohta: "Visualizing Focus of Attention in Mixed Reality Community Space"Proc. 11th International Conference on Artificial Reality and Telexistence. 141-146 (2001)
[Publications] Yuichi Nakamura: "Camerawork for Intelligent Video Production---Capturing Desktop Manipulations---"Proc. 2001 IEEE International Conference on Multimedia and Exposition. 41-44 (2001)
[Publications] Katsuhiko Sakaue: "Real-timae camera parameter estimation for 3-D annotation on a wearable vision system"IEICE TRANS. INF. & SYST. E84.12. 1668-1675 (2001)
[Publications] Itaru Kitahara: "Recording Multiple Videos in a Large-scale Space for Large-scale Virtualized Reality"Proc. 21st International Display Research Conference. 1377-1380 (2001)
[Publications] 星野准一: "ビデオ映像とCGの合成によるヴァーチャルファッションの実現"情報処理学会論文誌. 42.5. 1182-1193 (2001)

2001 Fiscal Year Annual Research Report

複合コミュニティ空間のための人物動作理解と人物映像加工に基づく視覚増強機構

Principal Investigator

大田 友一 筑波大学, 機能工学系, 教授 (50115804)

Research Products

[Publications] Yuichi Ohta: "Share-Z Client/Server Depth Sensing for See-Through Head-Mounted Displays"PRESENCE. 11.2. 176-188 (2002)

[Publications] Yuichi Ohta: "Visualizing Focus of Attention in Mixed Reality Community Space"Proc. 11th International Conference on Artificial Reality and Telexistence. 141-146 (2001)

[Publications] Yuichi Nakamura: "Camerawork for Intelligent Video Production---Capturing Desktop Manipulations---"Proc. 2001 IEEE International Conference on Multimedia and Exposition. 41-44 (2001)

[Publications] Katsuhiko Sakaue: "Real-timae camera parameter estimation for 3-D annotation on a wearable vision system"IEICE TRANS. INF. & SYST. E84.12. 1668-1675 (2001)

[Publications] Itaru Kitahara: "Recording Multiple Videos in a Large-scale Space for Large-scale Virtualized Reality"Proc. 21st International Display Research Conference. 1377-1380 (2001)

[Publications] 星野准一: "ビデオ映像とCGの合成によるヴァーチャルファッションの実現"情報処理学会論文誌. 42.5. 1182-1193 (2001)

大田友一筑波大学, 機能工学系, 教授 (50115804)