2017 Fiscal Year Annual Research Report
モバイル環境におけるRGBDカメラを用いた３次元モデル生成と複合現実感への応用
| Project/Area Number |
16H02851
|
|---|
| Research Institution | National Institute of Informatics |
|---|
Principal Investigator |
杉本 晃宏 国立情報学研究所, コンテンツ科学研究系, 教授 (30314256)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
大石 岳史 東京大学, 生産技術研究所, 准教授 (80569509)
|
|---|
| Project Period (FY) |
2016-04-01 – 2019-03-31
|
| Keywords | 3次元モデル / 複合現実感 / モバイル環境 / コンピュータビジョン |
|---|
| Outline of Annual Research Achievements |
携帯型端末の普及・性能向上、RGBDカメラの小型化・廉価化により、エンドユーザがモバイル環境で３Dデータを手軽に入手し加工できる環境が整いつつあり、３次元モデル生成の重要性が高まっている。モバイル環境におけるRGBDカメラを用いた３次元モデル生成では、省メモリ化、高精度、リアルタイム処理が必要不可欠であるが、これらすべてを満たすモデル生成技術は存在しない。本研究課題では、携帯型端末に搭載されたRGBDカメラからのストリーミングデータを入力とし、リアルタイムに省メモリで３次元モデルを高精度に生成する技術を開発し、複合現実感に応用することでその有効性を示すことを目指している。
平成２９年度は、3次元モデル表現のための入力点群の効率的な領域分割、動的環境に対応した３次元モデル表現、および、複合現実感への応用、に取り組んだ。その結果、計測された３次元点群の幾何情報と色情報をバランスよく利用した高速な領域分割手法を開発した。そして、それによって分割した領域ごとに平成２８年度に開発した３次元モデル表現を採用することで、身体動作といった動的環境でも効率的に３次元モデルを生成することができるようになった。また、RGBDカメラ映像による密な狭範囲３次元モデルと全方位カメラ映像による疎な広範囲３次元モデルを統合することで、実環境の照明条件と３次元形状を推定し、仮想物体を実環境にレンダリングする実時間システムを構築し、生成した３次元モデルの複合現実感への応用の有効性を示した。さらに屋外環境への拡張のために、３次元モデル生成およびカメラ位置姿勢推定のための２枚の連続画像を入力とするオプティカルフローおよびデプスマップの実時間同時推定手法を開発した。事前に周囲の３次元モデルが得られていることを仮定して、見えのシミュレーションおよび特徴点の効果評価によるカメラのロバスト位置姿勢推定手法も開発した。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
平成２９年度に予定していた研究項目に対して、おおむね当初の見込み通りの研究成果を上げている。なお、３次元モデル表現に関して、平成２８年度に新たに着想したアプローチは有望であることが明確となり、平成２９年度はそのアプローチを推し進め、当初想定していなかった、素早い動きがある環境（スポーツする人間など）をも対象とした３次元モデル生成が可能であるとの見通しを得た。
|
| Strategy for Future Research Activity |
研究計画に沿って、開発した３次元モデル表現をより精緻なものにするとともに、複合現実感への応用にも取り組む。特に、これまでの検討結果によって、研究計画当初は予想していなかった、素早い動きがある動的な環境を対象とする３次元モデル生成が現実味を帯びてきたので、この方向での検討をさらに推進する。
|
