1999 Fiscal Year Annual Research Report
複合コミュニティ空間のための人物動作理解と人物映像加工に基づく視覚増強機構
| Project/Area Number |
11230202
|
|---|
| Research Institution | University of Tsukuba |
|---|
Principal Investigator |
大田 友一 筑波大学, 機能工学系, 教授 (50115804)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
坂上 勝彦 電子技術総合研究所, 知能情報部, 主任研究官
中村 裕一 筑波大学, 機能工学系, 助教授 (40227947)
|
|---|
| Keywords | 視覚支援 / 視覚メディア / 複合現実感 / 拡張現実感 / 注目の共有 / アイコンタクト / 顔画像 / ヘッド・マウンテッド・ディスプレイ |
|---|
| Research Abstract |
本研究では,複合現実感を実現する副作用として欠落する視覚情報を補完し,さらに一層増強するためのパターン認識・理解技術を研究する。具体的には,複数の人間の視覚的な情報交換の基本である,(1)互いの顔や動作を視認することによる相手の状態の把握のための視覚支援,(2)指差しなどによる第三物体への注目の共有のための視覚支援,の2点について,これらを自然なかたちで支援できる複合コミュニティ空間のプロトタイプ構築を通して,人間が中心の実時間対話環境を前提とした新しいパターン認識・理解の枠組みを追求する。
本年度は,HMDを装着した人間どうしのアイコンタクトを可能にするための顔画像加工技術,動作及び発話からの指示物体認識技術の開発を並行して行った。
○我々は以前から,実写画像を基にした任意方向・任意表情の顔画像の合成手法を提案してきた。この手法は,対象人物の複数枚の静止画像を組み合わせるため,自然な見え方を高速に生成できる特長がある。本年度は,HMDをかけた人物の顔に,HMDをかけていない状態の顔画像を重ね合わせるための,要素技術について研究した。これに関連して,HMD装着型の視点検出装置,人物の顔を高精度に追尾して撮影するためのロボットカメラを導入した。
○人間のコミュニケーションにおいて特に重要である指示動作・例示動作を注目共有に利用するため,本年度は,現実世界で人間が実際にコミュニケーションを行ったデータに基づいて,指示動作・例示動作を抽出する方法について研究した。これには,我々は,既に開発していた,プレゼンテーションにおける人物,動作,画像(見え方),発話を関係づけたマルチモーダルデータベースを有効に活用した。
|
Research Products
(6 results)
-
[Publications] 大田友一: "Vision-Based Geometric Registration of Virtual and Real Worlds"Mixed Reality,Springer-Verlag. 85-100 (1999)
-
[Publications] 大田友一: "Share-Z:観察者視点の奥行き獲得のためのクライアント・サーバ・センシング"情報研報コンピュータビジョンとイメージメディア. 119・17. 125-132 (1999)
-
[Publications] 小林俊広: "3視点のアフィン画像を用いた線形的手法による仮想物体像の融合とカメラ姿勢の推定"日本バーチャルリアリティ学会論文誌. 4・4. 599-606 (1999)
-
[Publications] 菅谷保之: "隠れ処理を含まない方式と含む方式の連結統合による多眼ステレオ法"日本バーチャルリアリティ学会論文誌. 4・4. 617-622 (1999)
-
[Publications] 市原栄太郎: "NaviView:仮想車載カメラ映像による運転者の視覚支援"電子情報通信学会論文誌. J82-DII巻・10. 1816-1825 (1999)
-
[Publications] 大和哲也: "実写画像に基づく顔映像の生成"電子情報通信学会総合大会論文集. (発表予定). (2000)
