• Search Research Projects
  • Search Researchers
  • How to Use
  1. Back to previous page

360 Degree Disaster Perception

Research Project

Project/Area Number 18F18109
Research Category

Grant-in-Aid for JSPS Fellows

Allocation TypeSingle-year Grants
Section外国
Research Field Intelligent informatics
Research InstitutionThe University of Tokyo

Principal Investigator

淺間 一  東京大学, 大学院工学系研究科(工学部), 教授 (50184156)

Co-Investigator(Kenkyū-buntansha) PATHAK SARTHAK MAHESH  東京大学, 工学(系)研究科(研究院), 外国人特別研究員
Project Period (FY) 2018-04-25 – 2020-03-31
Project Status Completed (Fiscal Year 2019)
Budget Amount *help
¥2,300,000 (Direct Cost: ¥2,300,000)
Fiscal Year 2019: ¥1,100,000 (Direct Cost: ¥1,100,000)
Fiscal Year 2018: ¥1,200,000 (Direct Cost: ¥1,200,000)
Keywords全天球カメラ / 運動推定 / 3次元計測
Outline of Annual Research Achievements

1. 災害環境における全天球ステレオカメラの運動推定及び3次元復元:災害現場では被害状況の把握を安全かつ迅速に行う必要があるため,環境を面で計測可能なカメラを用いた計測手法が有効である.一般的なカメラは視野が狭いが,全天球カメラの視野は360度であり,有効である.ただし全天球カメラでは,復元点の信頼度が方向によって大きく変化する.特に,エピポーラ線方向の復元点の信頼度は非常に低くなる傾向がある.そこで本研究は復元点の信頼度を考慮して,全天球ステレオカメラの運動推定及び3次元復元手法を構築した.

2. 災害環境の地図を用いた全天球カメラの位置姿勢推定:災害環境にドローンを導入する場合,初期位置が既知である必要があるが,屋内環境ではGPS等の利用が不可能である.そこで,本研究では映像情報のみを用いたIndoor Positioning Systemの研究開発を行った.ここでは,災害環境の直線モデルを既知情報として用いた.ドローンに搭載した全天球カメラで取得した映像中の2次元の直線情報と,環境地図中での3次元直線情報のマッチングによって,ドローンの6自由度位置姿勢を推定する手法を構築した.

3. 深層学習を用いた全天球カメラの運動推定・3次元復元のロバスト化:カメラの運動推定及び環境の3次元復元を行うために,一般的な方法では映像での特徴トラッキングがベースとなる.ここで,環境によって異なる特徴が必要になる場合がある.例えば屋内環境で直線以外は使えないことが多く.屋外環境では特徴点を使う場合が多い.このように環境に適した特徴を用いないと,カメラの運動推定・3次元復元が失敗する可能性がある.この問題を解決するため,特徴の設計をせず,データから学習可能な畳み込みニューラルネットワークを利用した.具体的には,全天球カメラの歪みを考慮した全天球畳み込みニューラルネットワークの研究開発を行った.

Research Progress Status

令和元年度が最終年度であるため、記入しない。

Strategy for Future Research Activity

令和元年度が最終年度であるため、記入しない。

Report

(2 results)
  • 2019 Annual Research Report
  • 2018 Annual Research Report
  • Research Products

    (11 results)

All 2020 2019 2018

All Journal Article (2 results) (of which Int'l Joint Research: 2 results,  Peer Reviewed: 2 results,  Open Access: 1 results) Presentation (9 results) (of which Int'l Joint Research: 8 results)

  • [Journal Article] SelfSphNet: Motion Estimation of a Spherical Camera via Self-Supervised Learning2020

    • Author(s)
      Dabae Kim, Sarthak Pathak, Alessandro Moro, Atsushi Yamashita and Hajime Asama
    • Journal Title

      IEEE Access

      Volume: Vol. 8 Pages: 41847-41859

    • DOI

      10.1109/access.2020.2977109

    • Related Report
      2019 Annual Research Report
    • Peer Reviewed / Open Access / Int'l Joint Research
  • [Journal Article] Motion Estimation of Spherical Stereo Camera Considering Confidence of Reconstructed Points2019

    • Author(s)
      野田 純平, Sarthak Pathak, 藤井 浩光, 山下 淳, 淺間 一
    • Journal Title

      Journal of the Japan Society for Precision Engineering

      Volume: 85 Issue: 6 Pages: 568-576

    • DOI

      10.2493/jjspe.85.568

    • NAID

      130007659735

    • ISSN
      0912-0289, 1882-675X
    • Year and Date
      2019-06-05
    • Related Report
      2019 Annual Research Report 2018 Annual Research Report
    • Peer Reviewed / Int'l Joint Research
  • [Presentation] E-CNN: Accurate Spherical Camera Rotation Estimation via Uniformization of Distorted Optical Flow Fields2019

    • Author(s)
      Dabae Kim, Sarthak Pathak, Alessandro Moro, Ren Komatsu, Atsushi Yamashita and Hajime Asama
    • Organizer
      2019 IEEE International Conference on Acoustics, Speech, and Signal Processing
    • Related Report
      2019 Annual Research Report
    • Int'l Joint Research
  • [Presentation] Improving 3D Measurement Accuracy in Epipolar Directions via Trinocular Spherical Stereo2019

    • Author(s)
      Wanqi Yin, Sarthak Pathak, Alessandro Moro, Atsushi Yamashita and Hajime Asama
    • Organizer
      2019 IEEE 8th Global Conference on Consumer Electronics
    • Related Report
      2019 Annual Research Report
    • Int'l Joint Research
  • [Presentation] Accurate All-round 3D Measurement Using Trinocular Spherical Stereo via Weighted Reprojection Error Minimization2019

    • Author(s)
      Wanqi Yin, Sarthak Pathak, Alessandro Moro, Atsushi Yamashita and Hajime Asama
    • Organizer
      21st IEEE International Symposium on Multimedia
    • Related Report
      2019 Annual Research Report
    • Int'l Joint Research
  • [Presentation] Distortion-Resistant Spherical Visual Odometry for UAV-Based Bridge Inspection2019

    • Author(s)
      Sarthak Pathak, Alessandro Moro, Hiromitsu Fujii, Atsushi Yamashita and Hajime Asama
    • Organizer
      2019 Joint Conference of the International Workshop on Advanced Image Technology (IWAIT2019) and the International Forum on Medical Imaging in Asia (IFMIA2019)
    • Related Report
      2018 Annual Research Report
    • Int'l Joint Research
  • [Presentation] A Framework for Bearing-Only Sparse Semantic Self-Localization for Visually Impaired People2019

    • Author(s)
      Irem Uygur, Renato Miyagusuku, Sarthak Pathak, Alessandro Moro, Atsushi Yamashita and Hajime Asama
    • Organizer
      2019 IEEE/SICE International Symposium on System Integration (SII2019)
    • Related Report
      2018 Annual Research Report
    • Int'l Joint Research
  • [Presentation] E-CNN: Accurate Spherical Camera Rotation Estimation via2019

    • Author(s)
      Dabae Kim, Sarthak Pathak, Alessandro Moro, Ren Komatsu, Atsushi Yamashita
    • Organizer
      2019 IEEE International Conference on Acoustics, Speech, and Signal Processing
    • Related Report
      2018 Annual Research Report
    • Int'l Joint Research
  • [Presentation] Line-based Global Localization of a Spherical Camera in Manhattan Worlds2018

    • Author(s)
      Tsubasa Goto, Sarthak Pathak, Yonghoon Ji, Hiromitsu Fujii, Atsushi Yamashita and Hajime Asama
    • Organizer
      2018 IEEE International Conference on Robotics and Automation (ICRA2018)
    • Related Report
      2018 Annual Research Report
    • Int'l Joint Research
  • [Presentation] Distortion-Robust Spherical Camera Motion Estimation via Dense Optical Flow2018

    • Author(s)
      Sarthak Pathak, Alessandro Moro, Hiromitsu Fujii, Atsushi Yamashita and Hajime Asama
    • Organizer
      2018 IEEE International Conference on Image Processing (ICIP2018)
    • Related Report
      2018 Annual Research Report
    • Int'l Joint Research
  • [Presentation] 正距円筒オプティカルフローパターンを均等化したE-CNNによる全天球カメラの回転推定の精度向上2018

    • Author(s)
      Dabae Kim, Sarthak Pathak, Alessandro Moro, 小松 廉, 山下 淳, 淺間 一
    • Organizer
      第19回計測自動制御学会システムインテグレーション部門講演会
    • Related Report
      2018 Annual Research Report

URL: 

Published: 2018-05-01   Modified: 2024-03-26  

Information User Guide FAQ News Terms of Use Attribution of KAKENHI

Powered by NII kakenhi