Improvement of range image measurement by fusion of multiple modalities

2022 Fiscal Year Final Research Report

• Project/Area Number: 19H04191
• Research Category: Grant-in-Aid for Scientific Research (B)
• Allocation Type: Single-year Grants
• Section: 一般
• Review Section: Basic Section 61050:Intelligent robotics-related
• Research Institution: Chuo University
• Principal Investigator: Umeda Kazunori 中央大学, 理工学部, 教授 (10266273)
• Co-Investigator(Kenkyū-buntansha): 池 勇勲 中央大学, 理工学部, 助教 (90823766)
• Project Period (FY): 2019-04-01 – 2023-03-31
• Keywords: 距離画像計測 / センサフュージョン / 複数モダリティー / 小型距離画像センサ / アクティブステレオ / 深層学習

Outline of Final Research Achievements

In this study, we achieved following three results to improve the methods of range image measurement based on fusion of multiple modalities; (1) constructed compact range image sensors for short distance measurement by fusing active stereo and Depth from Defocus (DFD), (2) proposed a new framework with Bilateral-like filter for fusing stereo vision and Structure from Motion (SfM) for a fish-eye stereo camera, and (3) developed a fusion method for range images with different characteristics using deep learning techniques.

Free Research Field

ロボットビジョン，画像処理

Academic Significance and Societal Importance of the Research Achievements

距離画像（range image）は，距離値あるいは3次元座標値からなる画像であり，3次元情報を直接持つことからロボットビジョンを始め多くの分野で重要性が大きい．個々の距離画像センサの性能は，各センサが利用している距離計測原理自体が持つ物理的限界等に伴い必ずしも十分とは言えない．
そこで本研究では，センサ融合（センサフュージョン）のアプローチで距離画像計測の高度化を行うことを目指し，異なる3つの方向での複数のモダリティーの融合手法の構築により，学術的な点でもまた実用的な面でも意義のある成果を得た．