2016 Fiscal Year Annual Research Report
モバイル環境におけるRGBDカメラを用いた３次元モデル生成と複合現実感への応用
| Project/Area Number |
16H02851
|
|---|
| Research Institution | National Institute of Informatics |
|---|
Principal Investigator |
杉本 晃宏 国立情報学研究所, コンテンツ科学研究系, 教授 (30314256)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
大石 岳史 東京大学, 生産技術研究所, 准教授 (80569509)
|
|---|
| Project Period (FY) |
2016-04-01 – 2019-03-31
|
| Keywords | ３次元モデル / 複合現実感 / モバイル環境 / コンピュータビジョン |
|---|
| Outline of Annual Research Achievements |
携帯型端末の普及・性能向上、RGBDカメラの小型化・廉価化により、エンドユーザがモバイル環境で３Ｄデータを手軽に入手し加工できる環境が整いつつあり、３次元モデル生成の重要性が高まっている。モバイル環境におけるRGBDカメラを用いた３次元モデル生成には、省メモリ化、高精度、リアルタイム処理が必要不可欠であるが、これらすべてを満たすモデル生成技術は存在しない。本研究課題では、携帯型端末に搭載されたRGBDカメラからのストリーミングデータを入力とし、リアルタイムに省メモリで３次元モデルを高精度に生成する技術を開発し、複合現実感に応用することでその有効性を示すことを目指している。
平成２８年度は、屋内の大規模環境の３次元モデルの実時間生成を目指して、最適あてはめ平面の効率的探索、計測データ統合の高精度化、復元環境の大規模化に伴う３次元モデルのひずみを抑える位置合せとデータ統合、に取り組んだ。その結果、入力のストリーミングデータを時系列に小セグメントに分割し、各セグメントごとに独立に３次元局所モデルを生成し、モデルひずみを抑えつつ局所モデルを統合して大局モデルを生成する手法を開発した。この手法では、平面領域の集合で３次元モデルを表現し、実時間(20～25fps)での高精度な３次元モデル生成を実現している。実験によって、図書室(およそ60m x 5m x 2.5m の規模)の３次元モデル化を実証した。また、屋外AR・MRにおいて位置姿勢推定、遮蔽処理に必要となる周辺環境の3次元デジタルデータを取得するため、モバイルプラットフォームにLiDARおよび全方位カメラを搭載した高精度、高密度計測システムを開発した。また移動しながら撮影した連続全方位映像からシーンの奥行きを推定し、さらにユーザに指定された物体をシーン映像中から除去する手法を開発した。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
平成２８年度に予定していた研究項目に対して、おおむね当初の見込み通りの研究成果を上げている。なお、３次元モデル表現に関しては、当初の予定を修正するアプローチの方が柔軟性があり、動的環境にも対応可能であるとの見通しを得、３次元モデル表現に関する新たな展開を見出すことができた。
|
| Strategy for Future Research Activity |
研究計画に沿って、３次元モデル表現の改良とモバイル環境下での複合現実感への応用に取り組む。なお、平成２８年度の検討によって、区分平面による３次元モデル表現に関しては、処理時間の観点から必ずしも適さないアプローチであることが判明し、先に点群の領域分割を行い、分割された領域ごとに平面パッチ表現を行うことでこの問題は解決されるとともに、動的環境にも対応可能であるとの見通しを得たので、動的環境手の対応を念頭に置いた３次元モデル表現の改良を推進する。
|
-
-
-
-
[Journal Article] Degeneracies in Rolling Shutter SfM2016
Author(s)
C. Albl, A. Sugimoto, and T. Pajdla
-
Journal Title
Proc. of European Conference on Computer Vision (ECCV2016)
Volume: Part V (LNCS Vol. 9909)
Pages: 36-51
DOI
Peer Reviewed / Int'l Joint Research / Acknowledgement Compliant
-
-
-
-
-
-
-
-
-
-
-
-
