2019 Fiscal Year Annual Research Report
| Project/Area Number |
16H05864
|
|---|
| Research Institution | The University of Tokyo |
|---|
Principal Investigator |
大石 岳史 東京大学, 生産技術研究所, 准教授 (80569509)
|
|---|
| Project Period (FY) |
2016-04-01 – 2020-03-31
|
| Keywords | 複合現実感 / ３次元ビジョン / 視覚情報処理 |
|---|
| Outline of Annual Research Achievements |
これまで開発を進めてきたモビリティMRの実現に向けた基礎技術を用いて、オプティカルシースルー型HMDによる移動型MRシステムを実装した。基盤となるビデオシースルー方式による移動型ＭＲシステムを改良して、Microsoft社製HoloLensを用いて電気バス上でMR体験できるシステムを開発した。本システムでは、HoloLensが持つカメラによるトラッキング機能を用いて車両中のローカルな位置姿勢推定を行い、車両と周辺環境間の関係はGPSと外部全方位カメラによるグローバルな位置姿勢推定によって求め、これらを組み合わせることによって、つまり車両を介して、視線と周辺環境の相対位置姿勢を求めることが可能となった。本システムをキャンパス公開において一般公開を行い、その有用性を確認した。
基礎技術としては事前に計測した周辺３次元マップを用いた高精度位置姿勢推定手法を開発した。本手法では、３次元周辺マップから現在位置での見えをシミュレーションし、適切な特徴点を選択的に用いることで高精度な位置姿勢が可能となることを示した。また遮蔽処理や車両の位置姿勢推定高精度化のために、LiDARデータと画像データを融合させることによって、高密度・高精度な奥行マップを実時間で取得する手法を開発した。LiDAR点群は疎であるが高精度であるため、画像の輝度情報と意味的（セマンティック）情報に応じてLiDAR点群を方向性をもって伝搬させることによってLiDARデータを高密度化することによって実現した。LiDARの計測範囲についての問題は、連続する複数フレームからモーションステレオによって奥行マップを生成し、LiDAR点群を外挿することによって補っている。またLiDARデータとカメラ画像の融合の際には、２つのセンサ間の校正が重要となるため、輝度情報を直接用いた校正の高精度化手法の開発も行った。
|
| Research Progress Status |
令和元年度が最終年度であるため、記入しない。
|
| Strategy for Future Research Activity |
令和元年度が最終年度であるため、記入しない。
|
