• Search Research Projects
  • Search Researchers
  • How to Use
  1. Back to previous page

Improvement of range image measurement by fusion of multiple modalities

Research Project

Project/Area Number 19H04191
Research Category

Grant-in-Aid for Scientific Research (B)

Allocation TypeSingle-year Grants
Section一般
Review Section Basic Section 61050:Intelligent robotics-related
Research InstitutionChuo University

Principal Investigator

Umeda Kazunori  中央大学, 理工学部, 教授 (10266273)

Co-Investigator(Kenkyū-buntansha) 池 勇勲  中央大学, 理工学部, 助教 (90823766)
Project Period (FY) 2019-04-01 – 2023-03-31
Project Status Completed (Fiscal Year 2022)
Budget Amount *help
¥17,420,000 (Direct Cost: ¥13,400,000、Indirect Cost: ¥4,020,000)
Fiscal Year 2022: ¥3,250,000 (Direct Cost: ¥2,500,000、Indirect Cost: ¥750,000)
Fiscal Year 2021: ¥3,510,000 (Direct Cost: ¥2,700,000、Indirect Cost: ¥810,000)
Fiscal Year 2020: ¥3,640,000 (Direct Cost: ¥2,800,000、Indirect Cost: ¥840,000)
Fiscal Year 2019: ¥7,020,000 (Direct Cost: ¥5,400,000、Indirect Cost: ¥1,620,000)
Keywords距離画像計測 / センサフュージョン / 複数モダリティー / 小型距離画像センサ / アクティブステレオ / 深層学習
Outline of Research at the Start

本研究では,距離画像計測において,複数のモダリティーの融合手法の構築・定式化を行うことにより,単一のモダリティーでは実現できない距離画像計測を実現する.具体的には,アクティブステレオにおけるDepth from Defocus (DFD)との融合,ステレオとStructure from Motion (SfM)の融合,Time of Flight (TOF)とステレオの融合という,異なった融合を実現する.

Outline of Final Research Achievements

In this study, we achieved following three results to improve the methods of range image measurement based on fusion of multiple modalities; (1) constructed compact range image sensors for short distance measurement by fusing active stereo and Depth from Defocus (DFD), (2) proposed a new framework with Bilateral-like filter for fusing stereo vision and Structure from Motion (SfM) for a fish-eye stereo camera, and (3) developed a fusion method for range images with different characteristics using deep learning techniques.

Academic Significance and Societal Importance of the Research Achievements

距離画像(range image)は,距離値あるいは3次元座標値からなる画像であり,3次元情報を直接持つことからロボットビジョンを始め多くの分野で重要性が大きい.個々の距離画像センサの性能は,各センサが利用している距離計測原理自体が持つ物理的限界等に伴い必ずしも十分とは言えない.
そこで本研究では,センサ融合(センサフュージョン)のアプローチで距離画像計測の高度化を行うことを目指し,異なる3つの方向での複数のモダリティーの融合手法の構築により,学術的な点でもまた実用的な面でも意義のある成果を得た.

Report

(5 results)
  • 2022 Annual Research Report   Final Research Report ( PDF )
  • 2021 Annual Research Report
  • 2020 Annual Research Report
  • 2019 Annual Research Report
  • Research Products

    (20 results)

All 2023 2022 2021 2020 2019 Other

All Journal Article (7 results) (of which Peer Reviewed: 7 results,  Open Access: 2 results) Presentation (11 results) (of which Int'l Joint Research: 1 results) Remarks (2 results)

  • [Journal Article] PointpartNet++: Accuracy Improvement of 3D Point-Cloud Registration via Determination of Corresponding Points2023

    • Author(s)
      顔 世筍,Sarthak Pathak,梅田 和昇
    • Journal Title

      Journal of the Japan Society for Precision Engineering

      Volume: 89 Issue: 1 Pages: 90-98

    • DOI

      10.2493/jjspe.89.90

    • ISSN
      0912-0289, 1882-675X
    • Year and Date
      2023-01-05
    • Related Report
      2022 Annual Research Report
    • Peer Reviewed / Open Access
  • [Journal Article] PointpartNet: 3D point-cloud registration via deep part-based feature extraction2022

    • Author(s)
      Yan Shixun、Pathak Sarthak、Umeda Kazunori
    • Journal Title

      Advanced Robotics

      Volume: 36 Issue: 15 Pages: 724-734

    • DOI

      10.1080/01691864.2022.2084346

    • Related Report
      2022 Annual Research Report
    • Peer Reviewed
  • [Journal Article] Tiny range image sensors using multiple laser lights for short distance measurement2021

    • Author(s)
      Tomoaki Fukuda, Yonghoon Ji, Kazunori Umeda
    • Journal Title

      Proc. of SPIE Vol. 11794, Fifteenth International Conference on Quality Control by Artificial Vision (QCAV2021)

      Volume: - Pages: 50-50

    • DOI

      10.1117/12.2589196

    • Related Report
      2021 Annual Research Report
    • Peer Reviewed
  • [Journal Article] Online Measurement of Compact Range Image Sensor Using Image Blur of Multi-Slit Laser2021

    • Author(s)
      Karin Ohashi, Kazuki Tsumura, Yonghoon Ji, and Kazunori Umeda
    • Journal Title

      Proc. of 2021 IEEE/SICE International Symposium on System Integration (SII2021)

      Volume: - Pages: 825-826

    • DOI

      10.1109/ieeeconf49454.2021.9382644

    • Related Report
      2020 Annual Research Report
    • Peer Reviewed
  • [Journal Article] 擬似バイラテラルフィルタによる魚眼ステレオカメラの性能向上2020

    • Author(s)
      飯田 浩貴,佐久田 朝優, 池 勇勳,梅田 和昇,大橋 明,福田 大輔,金子 修造,村山 純哉
    • Journal Title

      精密工学会誌

      Volume: 86 Issue: 12 Pages: 969-974

    • DOI

      10.2493/jjspe.86.969

    • NAID

      130007950498

    • Related Report
      2020 Annual Research Report
    • Peer Reviewed / Open Access
  • [Journal Article] Measurement range expansion of a range image sensor using a multi-slit laser projector2020

    • Author(s)
      Naho Fujii, Yonghoon Ji, Kazunori Umeda
    • Journal Title

      Proc. of 2020 IEEE/SICE International Symposium on System Integration (SII2020)

      Volume: - Pages: 139-143

    • DOI

      10.1109/sii46433.2020.9026287

    • Related Report
      2019 Annual Research Report
    • Peer Reviewed
  • [Journal Article] High-accuracy Range Image Generation by Fusing Binocular and Motion Stereo Using Fisheye Stereo Camera2020

    • Author(s)
      Hirotaka Iida, Yonghoon Ji, Kazunori Umeda,Akira Ohashi, Daisuke Fukuda, Shuzo Kaneko, Junya Murayama, Yoshitaka Uchida
    • Journal Title

      Proc. of 2020 IEEE/SICE International Symposium on System Integration (SII2020)

      Volume: - Pages: 343-348

    • DOI

      10.1109/sii46433.2020.9025910

    • Related Report
      2019 Annual Research Report
    • Peer Reviewed
  • [Presentation] マルチスリットレーザの視差とぼけを用いた小型距離画像センサにおける計測手法の改善2023

    • Author(s)
      豊島 隆太郎,Sarthak Pathak,梅田 和昇
    • Organizer
      日本機械学会ロボティクス・メカトロニクス講演会2023
    • Related Report
      2022 Annual Research Report
  • [Presentation] マルチスリットレーザを用いた距離画像センサのリアルタイム化と計測範囲拡大2022

    • Author(s)
      佐々木 渉,顔 世荀,Sarthak Pathak,梅田 和昇
    • Organizer
      2022年度精密工学会秋季大会学術講演会
    • Related Report
      2022 Annual Research Report
  • [Presentation] Improving Multi-sensor Point Cloud Fusion via Color Information and Point Cloud Partitioning2022

    • Author(s)
      Shixun Yan, Sarthak Pathak, Kazunori Umeda
    • Organizer
      19th International Conference on Precision Engineering (ICPE2022)
    • Related Report
      2022 Annual Research Report
    • Int'l Joint Research
  • [Presentation] PointpartNet:位置合わせのための 3次元点群の部分的特徴抽出2022

    • Author(s)
      顔 世荀,Sarthak Pathak,梅田 和昇
    • Organizer
      動的画像処理実利用化ワークショップDIA2022
    • Related Report
      2021 Annual Research Report
  • [Presentation] 3次元点群データの位置合わせのための深層学習を用いた部分的特徴抽出2021

    • Author(s)
      顔 世荀,Sarthak Pathak,梅田 和昇
    • Organizer
      2021年度精密工学会秋季大会学術講演会
    • Related Report
      2021 Annual Research Report
  • [Presentation] マルチスリットレーザとカメラによる視差と像のぼけを組み合わせた近距離計測用小型距離画像センサ2021

    • Author(s)
      大橋 嘉倫,顔 世荀,Sarthak Pathak,梅田 和昇
    • Organizer
      2021年度精密工学会秋季大会学術講演会
    • Related Report
      2021 Annual Research Report
  • [Presentation] 擬似バイラテラルフィルタの改善による魚眼ステレオカメラの精度向上2021

    • Author(s)
      新井 健斗,佐久田 朝優,大橋 明,福田 大輔,梅田 和昇
    • Organizer
      動的画像処理実利用化ワークショップDIA2021
    • Related Report
      2020 Annual Research Report
  • [Presentation] マルチスリットレーザと小型カメラによる像のぼけを利用した小型距離画像センサのオンライン計測2020

    • Author(s)
      大橋 嘉倫, 池 勇勳, 梅田 和昇
    • Organizer
      2020年度精密工学会秋季大会学術講演会
    • Related Report
      2020 Annual Research Report
  • [Presentation] 魚眼ステレオカメラによるStructure from Motionのための移動物体検出2020

    • Author(s)
      飯田 浩貴, 池 勇勳, 梅田 和昇, 大橋 明, 福田 大輔, 金子 修造, 村山 純哉
    • Organizer
      動的画像処理実利用化ワークショップDIA2020講演論文集
    • Related Report
      2019 Annual Research Report
  • [Presentation] ぼけを利用したスリット像判別による距離画像センサの計測範囲拡大2020

    • Author(s)
      藤井 奈穂, 池 勇勳, 梅田 和昇
    • Organizer
      2020年度精密工学会春季大会学術講演会講演論文集
    • Related Report
      2019 Annual Research Report
  • [Presentation] マルチスリットレーザプロジェクタを用いた距離画像センサの計測範囲拡大2019

    • Author(s)
      藤井 奈穂, 池 勇勳, 梅田 和昇
    • Organizer
      2019年度精密工学会秋季大会学術講演会講演論文集
    • Related Report
      2019 Annual Research Report
  • [Remarks] 中央大学 梅田研究室

    • URL

      https://www.mech.chuo-u.ac.jp/umedalab/

    • Related Report
      2022 Annual Research Report 2021 Annual Research Report 2020 Annual Research Report
  • [Remarks]

    • URL

      http://www.mech.chuo-u.ac.jp/umedalab/

    • Related Report
      2019 Annual Research Report

URL: 

Published: 2019-04-18   Modified: 2024-01-30  

Information User Guide FAQ News Terms of Use Attribution of KAKENHI

Powered by NII kakenhi