Three-dimensional environment recognition using visible and long-wavelength infrared stereo images

• Project/Area Number: 23K26070
• Project/Area Number (Other): 23H01375 (2023)
• Research Category: Grant-in-Aid for Scientific Research (B)
• Allocation Type: Multi-year Fund (2024); Single-year Grants (2023)
• Section: 一般
• Review Section: Basic Section 20020:Robotics and intelligent system-related
• Research Institution: Tokyo Denki University
• Principal Investigator: 高畑 智之 東京電機大学, 工学部, 准教授 (80529652)
• Project Period (FY): 2023-04-01 – 2026-03-31
• Project Status: Granted (Fiscal Year 2024)
• Budget Amount: ¥18,850,000 (Direct Cost: ¥14,500,000、Indirect Cost: ¥4,350,000); Fiscal Year 2025: ¥5,330,000 (Direct Cost: ¥4,100,000、Indirect Cost: ¥1,230,000); Fiscal Year 2024: ¥5,330,000 (Direct Cost: ¥4,100,000、Indirect Cost: ¥1,230,000); Fiscal Year 2023: ¥8,190,000 (Direct Cost: ¥6,300,000、Indirect Cost: ¥1,890,000)
• Keywords: 長波長赤外 / ステレオ画像 / マルチモーダル画像 / 画像合成 / 画像認識

Outline of Research at the Start

人や物の移動を支援する自律移動ロボットの研究開発が盛んに進められており、安全な移動のためには環境認識の精度向上が重要である。なかでも、生活空間に多数存在するガラスなどの透明物は、従来の可視光から近赤外光までを利用したカメラやデプスカメラでは確実に検出できないことが課題となっていた。我々がこれまでに研究してきた可視光と長波長赤外（LWIR）を同じ視点から撮影した同軸画像を利用したガラスの存在推定では、距離は推定できていなかった。そこで本研究では、可視画像とLWIR画像を別の視点からステレオ撮影し、透明物であっても三次元位置を推定することのできる、可視・LWIRステレオ画像の認識方法を確立する。