2016 Fiscal Year Annual Research Report
ライトフィールドカメラを用いた複合現実感及び隠消現実感に関する研究
| Project/Area Number |
16J05114
|
|---|
| Research Institution | Keio University |
|---|
Principal Investigator |
森 尚平 慶應義塾大学, 理工学部(矢上), 特別研究員(PD)
|
|---|
| Project Period (FY) |
2016-04-22 – 2019-03-31
|
| Keywords | 複合現実感 / 隠消現実感 / 多視点カメラ / Light Field Rendering / Image-Based Rendering / Multi-View Cameras |
|---|
| Outline of Annual Research Achievements |
本研究の目的は，実空間に仮想物体を実時間合成する複合現実感 (Mixed Reality; MR) と実空間から実物体を実時間除去する隠消現実感 (Diminished Reality; DR) における，ライトフィールドデータの利用方法の模索，手法の提案，実動作するシステム開発を通した実証である．
本年度は，DRに関しては「1. ライトフィールドの概念に基づく多視点カメラを用いた手法」の提案を，MRに関しては「2. 多視点カメラを用いたカメラ位置姿勢推定法」の提案を目標とし，その研究成果を国内外の会議で発表した．
1. DR技術が必要される場面として，作業中に自身の手や把持するツールによって視界が遮られ，作業対象へのアプローチが難しいといったシナリオを設定し，その問題のDR手法による解決を目標として技術開発を行った．
提案手法は，既存の多視点画像を用いる任意視点画像生成法を基本として，不要物体（上記の例であれば，ツールやそれを把持した手）を通る光線を再構成しないように拡張することで，その背景が可視化された動画像を生成する．これに関わる光線取得方法のアルゴリズムと実時間性確保のためのレンダリング手法に関する成果を会議で報告した．
2. ライトフィールドを用いた直接的なカメラ位置姿勢推定法は現実的ではないため，まずは，固定多視点カメラから推定される3次元位置を逐次計算することで現視点のカメラ位置姿勢推定を行うアプローチをとった．固定多視点画像を想定すれば，現画像との2次元対応を取得することで，その2次元位置に対応する，3次元位置が現フレームで得られる．よって，この2D-3D対応から現視点の位置姿勢を推定した．
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
「研究実績の概要」の通り，基本的には，ライトフィールドカメラやその概念の導入によってDRとMRの性能向上を図るアプローチをとった．また，その成果を国内外の会議及び論文誌に発表した．
また，提案手法を実装するにあたって，隠消現実感や複合現実感の適用可能範囲を覆うようなライトフィールドカメラは市場には存在しないため，本研究課題では，多視点カメラを用いてこれを自ら構築した．
1. DR処理に必要な基本実装を終えた．基本となるアイデアと内容は会議で発表した．次いで，機能の実証実験と精度評価実験を予定し，論文誌への投稿を予定している．
2. 現状，アルゴリズムを実証するための実装と実験を終え，論文誌への投稿を済ませた段階である．
その他，DRとMRの実問題への応用，DR研究の基盤となり得るデータセット獲得方法の提案，DRおける両眼立体視の問題の抽出と解決方法に関する研究成果を発表した．
|
| Strategy for Future Research Activity |
次年度には，本年度に引き続き，多視点カメラを用いる手法開発に取り組む予定である．視点数を増加させることによる精度向上を本年度との違いとして，それに付随するDR/MRに必要な実時間性の確保をアルゴリズム的に解決する方策を取る．
1. 現状，提案したレンダリング方法によってDR処理を実時間実行できることを実証したが，ユーザの視点は位置姿勢ともに固定のため，次年度には，2で述べた手法を改良して6自由度の運動を可能にする予定である．
2. アルゴリズムとしては，この手法が実時間実行できれば動的なシーンにも適用できるが，カメラを配置できる場所に限りがあるため，カメラの配置方法自体にも検討の余地が残っている．また，実時間実行を可能にするためには，アルゴリズムの改善が必要である．よって，次年度からは，これらに取り掛かる．
|
Research Products
(21 results)
