高度な汎化性能を持つ身体性AI実現のための4D Sim-to-Real基盤技術の創出

• Project/Area Number: 25K03177
• Research Category: Grant-in-Aid for Scientific Research (B)
• Allocation Type: Multi-year Fund
• Section: 一般
• Review Section: Basic Section 61030:Intelligent informatics-related; Basic Section 60030:Statistical science-related; Sections That Are Subject to Joint Review: Basic Section60030:Statistical science-related , Basic Section61030:Intelligent informatics-related
• Research Institution: The University of Tokyo
• Principal Investigator: 宮西 大樹 東京大学, 大学院工学系研究科(工学部), 特任研究員 (10737521)
• Project Period (FY): 2025-04-01 – 2028-03-31
• Project Status: Granted (Fiscal Year 2025)
• Budget Amount: ¥18,850,000 (Direct Cost: ¥14,500,000、Indirect Cost: ¥4,350,000); Fiscal Year 2027: ¥3,770,000 (Direct Cost: ¥2,900,000、Indirect Cost: ¥870,000); Fiscal Year 2026: ¥7,540,000 (Direct Cost: ¥5,800,000、Indirect Cost: ¥1,740,000); Fiscal Year 2025: ¥7,540,000 (Direct Cost: ¥5,800,000、Indirect Cost: ¥1,740,000)
• Keywords: 4Dシミュレーション / 視覚と言語 / Embodied AI / 基盤モデル

Outline of Research at the Start

本研究課題では、Embodied AIが実世界で頑健に動作するための4D Sim-to-Real基盤の構築を目指す。これを実現するために、本研究では動的な3Dシーンを再構成できる4次元再構成手法と、申請者がこれまで取り組んできた3D視覚と言語の技術を融合することで、言語指示によって多様な4Dシーンの編集が可能な4Dシミュレーターを作成する。さらに、4Dシミュレーター内で学習したEmbodied AIを移動ロボットに実装し、実世界での言語指示ナビゲーション課題を通じて、4Dシミュレーションの有効性を検証する。