2017 Fiscal Year Annual Research Report
ライトフィールドカメラを用いた複合現実感及び隠消現実感に関する研究
| Project/Area Number |
16J05114
|
|---|
| Research Institution | Keio University |
|---|
Principal Investigator |
森 尚平 慶應義塾大学, 理工学部, 特別研究員(PD)
|
|---|
| Project Period (FY) |
2016-04-22 – 2019-03-31
|
| Keywords | 複合現実感 / 隠消現実感 / 多視点カメラ / Light Field Rendering / Image-Based Rendering / Multi-View Cameras |
|---|
| Outline of Annual Research Achievements |
本研究の目的は，実空間に仮想物体を実時間合成する複合現実感 (Mixed Reality; MR) と実空間から実物体を実時間除去する隠消現実感 (Diminished Reality; DR) における，ライトフィールドデータの利用方法の模索，手法の提案，実動作するシステム開発を通した実証である．
本年度は，対象となる実物体を視覚的に隠蔽・消去・透過する技術，DRに関する「1. ライトフィールドの概念に基づく多視点カメラを用いた手法の評価」とMRのための「2. 多視点カメラを用いたカメラ位置姿勢推定法の有効性検証」を目標とした．1に関して，本年度は，定量評価実験を行い，その成果をまとめて国外論文誌や国際会議へと投稿，採択された．また，提案手法を実際に用いる際に問題となるパラメータ設定を簡易化する手法を次いで国内外の会議にて発表した．2に関しては，昨年度に成果をまとめ，論文誌へと投稿していたが，査読段階で有効性が十分に示せていないという指摘を受けたため，これを重点的に取り組むということへと方針転換をした．
今年度は来年度にかけての留学を経験し，上記とは別途，多視点RGB-D画像（カラー画像とカラー画像に位置合わせされた奥行画像の組）シーケンスを用いた，画像修復技術（不可視光線情報を周辺領域及び過去の光線情報から推定する手法）の研究も行った．この成果は国際会議へと投稿した段階である．
更に，DR/MRにおける研究活動を周辺分野に周知させる目的で，国外での招待講演，国外論文誌でのDRに関するサーベイ論文の発表，国外論文誌へのOverview論文の投稿等を行った．
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
「研究実績の概要」の通り，昨年度と同様，ライトフィールドやその概念の導入によってDRとMRの性能向上を図るアプローチをとり，加えて，その精度評価を検討し実施した．
1. ライトフィールドの概念に基づく多視点カメラを用いた手法の評価：DR技術が必要される場面として，昨年度と同様，作業者視点での不可視空間の可視化に取り組んだ．可視化手法自体は昨年度に実装し終えていたため，本年度は，入力及び真値となる多視点画像シーケンスを撮影し，これを評価用データセットとした．これを用いて定量評価実験を行い，その成果をまとめて国外論文誌へと投稿，採択された．また，提案手法を実際に用いる際に問題となるパラメータ設定を簡易化する手法を次いで発表した．
2. 多視点カメラを用いたカメラ位置姿勢推定法の有効性検証：昨年度に1と同様の多視点カメラを用いたカメラ位置姿勢推定法を考案，実装した．今年度は，この成果をまとめ，論文誌へと投稿していたが，査読段階で有効性が十分に示せていないという指摘を受けたため，これを重点的に取り組むということへと方針転換をした．本年度はこのデータセット作成用システムを作成し，来年度に向けて準備を整えた．
「研究実績の概要」にある留学先での研究成果の投稿に加え，MR・DRに関連して以下を実施した．DR/MR用カメラ位置姿勢推定法の評価方法の標準化に取り組み，評価方針や実績等に関しての活動報告を行った．DR処理された空間における人間の重さ知覚が変化するという現象の検証した．DR/MRの関連技術を用いて，人間には不可視の熱量を可視化する手法を提案した．こうした，DR/MRにおける研究活動を周辺分野に周知させる目的で，国外での招待講演，国外論文誌でのDRに関するサーベイ論文の発表，国外論文誌へのOverview論文の投稿，委員会幹事として国内論文誌／学会誌への寄稿を行った．
|
| Strategy for Future Research Activity |
最終年度となる来年度は，本年度に引き続き，多視点カメラを用いたMR・DR手法開発に取り組む予定である．これには，物理的に複数台のカメラを設置するこれまでの成果に加え，留学先での移動カメラを用いて多視点観測を行う2つのアプローチをとる．
1. ライトフィールドの概念に基づく多視点カメラを用いた手法：ライトフィールドカメラを用いた手法への拡張を検討する．これまでは数視点を扱うのみであったが，視点数が増加する分，精度向上が期待できるが，高速化のためのアルゴリズムの改良が必要になる．
2. 多視点カメラを用いたカメラ位置姿勢推定法：「現在までの進捗状況」にある精度評価方法を検討する．
当初の予定より，1のライトフィールドデータ（主に，不規則に配置された多視点画像データ）を用いたMRとDRへの応用が進んでいる一方で，2のトラッキング技術開発に関しては，既存手法を多視点画像に応用するに留まっている．その一要因として，カメラの配置に特段の制約がない状況を想定しているため，解決すべき課題が膨大になっていることが挙げられる．来年度は，カメラの配置に制約を設ける，RGB-D画像を用いて奥行きの計算コストを下げる，といった追加の方策が必要であると考え，これを検討する．
|
