| 研究概要 |
本研究では,複合現実感を実現する副作用として欠落する視覚情報を補完し,さらに一層増強するためのパターン認識・理解技術を研究する。具体的には,複数の人間の視覚的な情報交換の基本である,(1)互いの顔や動作を視認することによる相手の状態の把握のための視覚支援,(2)指差しなどによる第三物体への注目の共有のための視覚支援,の2点について,これらを自然なかたちで支援できる複合コミュニティ空間のプロトタイプ構築を通して,人間が中心の実時間対話環境を前提とした新しいパターン認識・理解の枠組みを追求する。
本年度は,HMDを装着した人間どうしのアイコンタクトを可能にするための顔画像加工技術,動作及び発話からの指示物体認識技術の開発を並行して行った。
○我々は以前から,実写画像を基にした任意方向・任意表情の顔画像の合成手法を提案してきた。この手法は,対象人物の複数枚の静止画像を組み合わせるため,自然な見え方を高速に生成できる特長がある。本年度は,HMDをかけた人物の顔に,HMDをかけていない状態の顔画像を重ね合わせるための,要素技術について研究した。これに関連して,HMD装着型の視点検出装置,人物の顔を高精度に追尾して撮影するためのロボットカメラを導入した。
○人間のコミュニケーションにおいて特に重要である指示動作・例示動作を注目共有に利用するため,本年度は,現実世界で人間が実際にコミュニケーションを行ったデータに基づいて,指示動作・例示動作を抽出する方法について研究した。これには,我々は,既に開発していた,プレゼンテーションにおける人物,動作,画像(見え方),発話を関係づけたマルチモーダルデータベースを有効に活用した。
|
