2020 Fiscal Year Annual Research Report
カメラ幾何と深層学習の融合による画像を用いた環境のセマンティックモデリング
| Project/Area Number |
20J13300
|
|---|
| Research Institution | Aoyama Gakuin University |
|---|
Principal Investigator |
伊東 聖矢 青山学院大学, 理工学研究科, 特別研究員(DC2)
|
|---|
| Project Period (FY) |
2020-04-24 – 2022-03-31
|
| Keywords | 深層学習 / 深度推定 / セマンティックセグメンテーション |
|---|
| Outline of Annual Research Achievements |
本研究の目的は，画像から意味情報を持つ3次元環境地図を構築する，セマンティック環境モデリングを実現することである．本年度は，1) 単一画像から深度推定とセマンティックセグメンテーションを同時に行う方法，2) 多視点画像から3次元モデルを構築する方法，および 3) シミュレーションによる実世界シーンを模したデータセットの構築について研究を行った．
1) 深層学習を用いて単一の画像からカメラから被写体までの距離を推定する深度推定と，画像を物体クラス毎に領域分割するセマンティックセグメンテーションを同時に行う手法を提案した．提案手法では，画像から空間情報と意味情報が集約された3次元特徴を抽出する畳み込みニューラルネットワークを設計し，屋内環境のベンチマークデータセットを用いて評価した．
2) 自己教師あり学習を用いて多視点画像から深度を推定する深層学習モデルを学習する方法を提案した．提案手法では，入力となる多視点画像と深層学習モデルが出力する深度マップから自己教師を生成することで，深層学習モデルを学習している．従来の教師あり学習を用いた手法と異なり，提案手法は教師となる深度マップを事前に用意する必要がないという利点がある．屋内外の複数のデータセットで評価を行い，提案手法の有効性を検証した．
3) 既存の実世界を模した屋内環境のデータセットを用いて，移動物体を含むシーンを作成した．具体的には，3DCGソフトウェアを用いて，複数の人物が屋内環境を移動するようなアニメーションを作成し，一枚の画像に対して，深度マップ，意味情報，インスタンス情報，カメラの位置姿勢などを取得できるシステムを構築した．
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
画像から深度マップと意味情報を推定する方法および多視点画像から深度マップを推定して3次元モデルを構築する方法について取り組み，セマンティック環境モデリングのプロトタイプの実装を終えた．得られた研究成果は，空間情報と意味情報の相互利用が効果的であることを示している．当初の計画では，実環境で評価用のデータを収集することを予定していたが，COVID-19の影響でそれができなかった．その代わりに，シミュレーションを用いて実環境を再現したデータセットを構築しており，全体として順調に進行している．
|
| Strategy for Future Research Activity |
令和2年度に行った研究では，移動物体を含まない静的なシーンを対象にセマンティック環境モデリングを行い，その結果を評価した．令和3年度は，移動物体を含むシーンを対象としたセマンティック環境モデリング手法を開発し，その有効性を評価する．具体的には，あらかじめ移動物体を定義し，意味情報を用いて画像を静的な領域と動的な領域に分割する方法について検討する．静的な領域を対象としてセマンティックモデリングを行うことで，移動物体を含む複雑な実世界シーンにおいても安定して動作すると考えられる．提案手法を評価するために，実環境でデータを撮影して独自のデータセットを作成する．また，実環境でのデータ撮影が実施できない場合に備えて，シミュレーションを用いて合成データを拡充するともに，合成データのリアリティを向上させる方法について検討する．
|
