4D Earth Captioning

2022 Fiscal Year Final Research Report

• Project/Area Number: 20H04217
• Research Category: Grant-in-Aid for Scientific Research (B)
• Allocation Type: Single-year Grants
• Section: 一般
• Review Section: Basic Section 61010:Perceptual information processing-related
• Research Institution: National Institute of Advanced Industrial Science and Technology
• Principal Investigator: Sakurada Ken 国立研究開発法人産業技術総合研究所, 情報・人間工学領域, 主任研究員 (70773670)
• Co-Investigator(Kenkyū-buntansha): 高村 大也 国立研究開発法人産業技術総合研究所, 情報・人間工学領域, 研究チーム長 (80361773)
• Project Period (FY): 2020-04-01 – 2023-03-31
• Keywords: 画像説明文生成 / 変化検出 / 空間モデリング

Outline of Final Research Achievements

We have developed fundamental technologies for efficiently reconstructing and updating 3D maps of a city from images and for explaining events occurring on the ground in a text that is easy for humans to understand. These technologies have shown the possibility of utilizing the vast amount of data collected from smartphones, drive recorders, and cameras installed for autonomous driving and driver assistance, where these data will be presented to users in the form of 3D maps and text. In addition, we have developed a real-time 3D localization and mapping method that considers scene privacy, which is a concern in map sharing.

Free Research Field

コンピュータビジョン

Academic Significance and Societal Importance of the Research Achievements

コンピュータビジョンやロボティクス分野では、街並みの変化を検出する研究は行われてきたが、多くの場合３次元地図の更新を目的としているため、画素や点群、ボクセルのような観測単位の変化のみに着目しており、その意味的な理解はほとんど注目されてこなかった。本研究では、シーンを物体の集合として仮定し、物体単位の変化の検出と説明文生成を行うことで、人間が理解しやすく応用タスクで扱いやすい形で提示することを可能とした。また、シーンプライバシー保護手法において、従来の点群マップと異なる直線群マップに対し新たな再投影誤差モデルを定義し、カメラ姿勢と点群・直線群マップを同時に最適化可能とした点も学術的意義が大きい。