2018 Fiscal Year Annual Research Report
3D modeling using an RGBD camera in the mobile environment and its application to mixed reality
| Project/Area Number |
16H02851
|
|---|
| Research Institution | National Institute of Informatics |
|---|
Principal Investigator |
杉本 晃宏 国立情報学研究所, コンテンツ科学研究系, 教授 (30314256)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
大石 岳史 東京大学, 生産技術研究所, 准教授 (80569509)
|
|---|
| Project Period (FY) |
2016-04-01 – 2019-03-31
|
| Keywords | ３次元モデル / 複合現実感 / モバイル環境 / コンピュータビジョン |
|---|
| Outline of Annual Research Achievements |
携帯型端末の普及・性能向上、RGBDカメラの小型化・廉価化により、エンドユーザがモバイル環境で３Dデータを手軽に入手し加工できる環境が整いつつあり、３次元モデル生成の重要性が高まっている。モバイル環境におけるRGBDカメラを用いた３次元モデル生成では、省メモリ化、高精度、リアルタイム処理が必要不可欠であるが、これらすべてを満たすモデル生成技術は存在しない。本研究課題では、携帯型端末に搭載されたRGBDカメラからのストリーミングデータを入力とし、リアルタイムに省メモリで３次元モデルを高精度に生成する技術を開発し、複合現実感に応用することでその有効性を示すことを目指している。
平成30年度は、平成２９年度にその方向への展開に見通しを得た、素早い動きがある動的な環境を対象とする３次元モデル生成を精力的に推し進めた。具体的には、スポーツをする人間などを対象に、身体を剛性を持つ部分領域に分割し、身体動作によって隣接する部分領域間での３次元表現の整合性を保持する３次元モデル表現を開発した。また、RGBDカメラからのデータはノイズを多く含んでいることを踏まえ、そのストリーミングデータの処理において、近傍の計測点との整合性を考慮することでノイズに頑健なデータ統合法を開発した。さらに、カラーカメラとデプスセンサを搭載したモバイルプラットフォームによる環境３次元計測のためのセンサ間校正手法及び、疎な環境３次元マップを利用したAR・MRにおける遮蔽処理手法の開発を行った。トラッキングや遮蔽処理などに必要となる高密度な奥行画像を生成するためにLiDARやTOFなどによって得られた疎な奥行画像を、カメラ画像によって高解像度化する手法についても検討を進めた。
|
| Research Progress Status |
平成30年度が最終年度であるため、記入しない。
|
| Strategy for Future Research Activity |
平成30年度が最終年度であるため、記入しない。
|
