4D Earth Captioning

• Project/Area Number: 20H04217
• Research Category: Grant-in-Aid for Scientific Research (B)
• Allocation Type: Single-year Grants
• Section: 一般
• Review Section: Basic Section 61010:Perceptual information processing-related
• Research Institution: National Institute of Advanced Industrial Science and Technology
• Principal Investigator: 櫻田 健 国立研究開発法人産業技術総合研究所, 情報・人間工学領域, 主任研究員 (70773670)
• Co-Investigator(Kenkyū-buntansha): 高村 大也 国立研究開発法人産業技術総合研究所, 情報・人間工学領域, 研究チーム長 (80361773)
• Project Period (FY): 2020-04-01 – 2023-03-31
• Project Status: Granted (Fiscal Year 2020)
• Budget Amount: ¥17,810,000 (Direct Cost: ¥13,700,000、Indirect Cost: ¥4,110,000); Fiscal Year 2021: ¥7,410,000 (Direct Cost: ¥5,700,000、Indirect Cost: ¥1,710,000); Fiscal Year 2020: ¥6,760,000 (Direct Cost: ¥5,200,000、Indirect Cost: ¥1,560,000)
• Keywords: 画像説明文生成 / Visual SLAM / 変化検出 / シーングラフ

Outline of Research at the Start

本研究では、上空・地上の両視点の画像から、地球上で起きている現象を自動で検出し，任意視点の説明文を生成する手法を開発する。人や車，建物など物体レベルのミクロな現象から，都市全体のマクロな現象まで，多様なスケールの事象を横断的に記述する新たな画像認識問題に対し、多視点幾何と画像説明文生成のモデルを融合することで、人間が知覚しきれない膨大なデータから重要な現象を自動で抽出し、分かりやすく提示するシステムの実現を目指す。