Exploring Multimodal Control Theory Utilizing Human-Derived Unstructured Data

Research Project

Project/Area Number	25K01254
Research Category	Grant-in-Aid for Scientific Research (B)
Allocation Type	Multi-year Fund
Section	一般
Review Section	Basic Section 21040:Control and system engineering-related
Research Institution	Keio University
Principal Investigator	井上正樹慶應義塾大学, 理工学部(矢上), 准教授 (80725680)
Co-Investigator(Kenkyū-buntansha)	藤本悠介大阪大学, 大学院基礎工学研究科, 准教授 (60826204) 中村文一東京理科大学, 創域理工学部電気電子情報工学科, 教授 (70362837)
Project Period (FY)	2025-04-01 – 2028-03-31
Project Status	Granted (Fiscal Year 2025)
Budget Amount *help	¥18,720,000 (Direct Cost: ¥14,400,000、Indirect Cost: ¥4,320,000) Fiscal Year 2027: ¥6,500,000 (Direct Cost: ¥5,000,000、Indirect Cost: ¥1,500,000) Fiscal Year 2026: ¥6,240,000 (Direct Cost: ¥4,800,000、Indirect Cost: ¥1,440,000) Fiscal Year 2025: ¥5,980,000 (Direct Cost: ¥4,600,000、Indirect Cost: ¥1,380,000)
Keywords	マルチモーダル制御 / 自然言語処理 / 異種センサフュージョン / ChatMPC / Human-in-the-loop制御
Outline of Research at the Start	急速に発展する生成AIをいかに物理システムの制御・管理に導入していくか？特に生成AIを導入した制御システム全体の安定性や安全性をどのように保証するか？を学術的問いとして，新たな制御理論・技術を開拓する。物理センサによる制御対象の観測情報に加えて，人からの音声やテキストなど非構造化情報も生成AIの基盤技術である大規模言語モデルを通して構造化して制御システムに取り入れる。そして，物理と人という異種センサ信号で駆動する状態推定モデルや制御モデルの開発と車やロボットからインフラシステムへの展開を通して広く社会に貢献する。