2018 Fiscal Year Annual Research Report
360 Degree Disaster Perception
| Project/Area Number |
18F18109
|
|---|
| Research Institution | The University of Tokyo |
|---|
Principal Investigator |
淺間 一 東京大学, 大学院工学系研究科(工学部), 教授 (50184156)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
PATHAK SARTHAK MAHESH 東京大学, 工学(系)研究科(研究院), 外国人特別研究員
|
|---|
| Project Period (FY) |
2018-04-25 – 2020-03-31
|
| Keywords | 全天球カメラ / 運動推定 / 3次元計測 |
|---|
| Outline of Annual Research Achievements |
1. 災害環境における全天球ステレオカメラの運動推定及び3次元復元
災害現場では被害状況の把握を安全かつ迅速に行う必要があるため，環境を面で計測可能なカメラを用いた計測手法が有効である．一般的なカメラは視野が狭いが，全天球カメラの視野は360度であり，有効である．ただし全天球カメラでは，復元点の信頼度が方向によって大きく変化する．特に，エピポーラ線方向の復元点の信頼度は非常に低くなる傾向がある．そこで本研究は復元点の信頼度を考慮して，全天球ステレオカメラの運動推定及び3次元復元手法を構築する．
2. 災害環境の地図を用いた全天球カメラの位置姿勢推定
災害環境にドローンを導入する場合，初期位置が既知である必要があるが，屋内環境ではGPS等の利用が不可能である．そこで，本研究では映像情報のみを用いたIndoor Positioning Systemの研究開発を行う．ここでは，災害環境の直線モデルを既知情報として用いる．ドローンに搭載した全天球カメラで取得した映像中の2次元の直線情報と，環境地図中での3次元直線情報のマッチングによって，ドローンの6自由度位置姿勢を推定する手法を構築する．
3. 深層学習を用いた全天球カメラの運動推定・3次元復元のロバスト化
カメラの運動推定及び環境の3次元復元を行うために，一般的な方法では映像での特徴トラッキングがベースとなる．ここで，環境によって異なる特徴が必要になる場合がある．例えば，屋内環境で直線以外は使えないことが多く．屋外環境では特徴点を使う場合が多い．このように環境に適した特徴を用いないと，カメラの運動推定・3次元復元が失敗する可能性がある．この問題を解決するため，特徴の設計をせず，データから学習可能な畳み込みニューラルネットワークを利用する．具体的には，全天球カメラの歪みを考慮した全天球畳み込みニューラルネットワークの研究開発を行う．
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
2018年度に計画していた内容をおおむね達成できたため．詳細は以下の通りである． 1. 災害環境における全天球ステレオカメラの運動推定及び3次元復元
全天球ステレオカメラ映像の密な情報を用いた運動推定手法を構築した．提案手法では，全天球ステレオ映像フレームを補正し，各ピクセルの奥行き情報を推定して，次のフレームに再投影を行った．また，再投影誤差を最適化し，フレーム間の運動を推定した．最適化では，各ピクセルの復元信頼度を幾何学的に考慮し，精度向上を達成した．
2. 災害環境の地図を用いた全天球カメラの位置姿勢推定
1枚の全天球カメラ画像のみを用いて，位置姿勢を推定する手法を構築した．提案手法では既知環境のモデルを利用し，映像中の直線の情報を環境モデルの直線の情報と比較することにより，位置・姿勢の推定を実現した．位置姿勢推定は6自由度の探索問題であり困難であるため，位置と姿勢を分けて推定する方法を構築した．マンハッタン仮説を用いて最初に姿勢を推定し，その後に位置を推定する手法を構築した．
3. 深層学習を用いた全天球カメラの運動推定・3次元復元のロバスト化
歪みが大きい全天球映像の運動推定は困難である．そこで，畳み込みニューラルネットワークを用いた推定手法を構築した．提案手法では，各ピクセルの密な運動情報であるオプティカルフローを用いた．また，歪みに対応するため，全天球映像を回転させ，歪みのパターンの均等化を行った．その結果，ロバスト性及び精度の向上を達成した．
|
| Strategy for Future Research Activity |
1. 災害環境における全天球ステレオカメラの運動推定及び3次元復元
これまでは2台の全天球カメラしか用いていなかったため，エピポーラ線方向の復元精度が低い問題があった．そこで，エピポーラ線方向に方向に更に1台カメラを追加して，高精度の3次元復元方式を新規に構築する．
2. 災害環境の地図を用いた全天球カメラの位置姿勢推定
これまでは，全天球映像内の直線の抽出に，サンプリングに基づいた手法を用いていたため，長い処理時間がかかっていた．そこで，サンプリングに基づかない直線抽出方式を新規に構築する．また，事前学習による処理の高速化を行う．
3. 深層学習を用いた全天球カメラの運動推定・3次元復元のロバスト化
これまでの方法では，運動推定には多くの正解ラベル付きの学習データが必要であった．しかし，多くの学習データを収集することは難しい．また，学習用のデータセットによる依存性の問題も発生し，学習した環境以外で利用するとき，精度が低下する可能性がある．そこでこれらの問題を解決するため，正解ラベル付きの学習データが不要な学習手法を構築する．
|
