| Project/Area Number |
20J13300
|
|---|
| Research Category |
Grant-in-Aid for JSPS Fellows
|
| Allocation Type | Single-year Grants |
|---|
| Section | 国内 |
|---|
| Review Section |
Basic Section 61050:Intelligent robotics-related
|
|---|
| Research Institution | Aoyama Gakuin University |
|---|
Principal Investigator |
伊東 聖矢 青山学院大学, 理工学部, 助教
|
|---|
| Project Period (FY) |
2020-04-24 – 2022-03-31
|
| Project Status |
Completed (Fiscal Year 2021)
|
| Budget Amount *help |
¥1,900,000 (Direct Cost: ¥1,900,000)
Fiscal Year 2021: ¥900,000 (Direct Cost: ¥900,000)
Fiscal Year 2020: ¥1,000,000 (Direct Cost: ¥1,000,000)
|
|---|
| Keywords | 深度推定 / SLAM / 動的環境 / 多視点ステレオ / 強化学習 / 深層学習 / セマンティックセグメンテーション |
|---|
| Outline of Research at the Start |
本研究では，画像から意味情報を持つ3次元環境地図を構築する，セマンティック環境モデリングを実現するとともに，3次元形状と意味情報の関係性ならびに時々刻々と変化する複雑な実世界シーンでの有用性を明らかにすることを目的としている．
この目的を達成するために，まず深層学習を用いて画像から3次元情報と意味情報の関係モデルを構築する．次に，この関係モデルを活用した3次元再構成法を開発し，様々な実世界シーンで精度や頑健性などを検証することで新たな知見を導出する．
|
| Outline of Annual Research Achievements |
本年度は，昨年度に引き続いて画像から意味情報を持つ3次元環境地図を構築するセマンティックモデリングに関する研究を行い，画像と短距離深度情報から長距離深度情報を補完する方法，および，移動物体を含む環境でセマンティックモデリングを行う方法を開発して国際会議で発表した．
長距離深度情報を補完する方法として，RGB-Dセンサで取得した画像と短距離深度画像のペアを用いて，深度補完モデルを自己教師あり学習で学習する手法を開発し，長距離深度情報を用いずに長距離深度の補完を可能にした．本技術により，計測可能な距離が限定されている安価なセンサであっても，計測した深度情報を利用しながらセンサで計測できない範囲の深度を高精度に推定できる．
移動物体を含む環境でセマンティックモデリングを行う方法として，画像から推定した意味情報をもとに移動物体を特定し，入力画像から移動物体を取り除いて静的シーンのみをモデリングする手法を開発した．前年度に作成した3DCGデータセットを使用して開発を進め，物体の意味情報だけでなくインスタンス情報も考慮できるようにアルゴリズムを改良し，実世界シーンのデータセットを用いて手法の有効性を検証した．また，多視点画像から3次元モデルを効率的に復元するために，3次元畳み込みを双方向Gated Recurrent Unitに置き換えたニューラルネットワークモデルを提案した．このニューラルネットワークモデルは，計算時間が若干増加する代わりに，計算に必要なGPUメモリを削減しながら，高精度に3次元モデルを復元できることを確認した．さらに，単一画像から物体の3次元モデルを構築する強化学習手法を開発した．本技術により，画像から直接3次元モデルを出力する従来の深層学習手法と異なり，3次元モデルの構築過程を可視化することが可能となった．
|
| Research Progress Status |
令和3年度が最終年度であるため、記入しない。
|
| Strategy for Future Research Activity |
令和3年度が最終年度であるため、記入しない。
|
