Building Vision-Language-Action Models with Offline Reinforcement Learning and Large-Scale Datasets

• Project/Area Number: 25K03176
• Research Category: Grant-in-Aid for Scientific Research (B)
• Allocation Type: Multi-year Fund
• Section: 一般
• Review Section: Basic Section 61030:Intelligent informatics-related; Basic Section 60030:Statistical science-related; Sections That Are Subject to Joint Review: Basic Section60030:Statistical science-related , Basic Section61030:Intelligent informatics-related
• Research Institution: Institute of Physical and Chemical Research
• Principal Investigator: 長 隆之 国立研究開発法人理化学研究所, 革新知能統合研究センター, チームディレクター (50804663)
• Co-Investigator(Kenkyū-buntansha): 池本 周平 九州工業大学, 大学院生命体工学研究科, 准教授 (00588353)
• Project Period (FY): 2025-04-01 – 2028-03-31
• Project Status: Granted (Fiscal Year 2025)
• Budget Amount: ¥18,330,000 (Direct Cost: ¥14,100,000、Indirect Cost: ¥4,230,000); Fiscal Year 2027: ¥7,670,000 (Direct Cost: ¥5,900,000、Indirect Cost: ¥1,770,000); Fiscal Year 2026: ¥4,290,000 (Direct Cost: ¥3,300,000、Indirect Cost: ¥990,000); Fiscal Year 2025: ¥6,370,000 (Direct Cost: ¥4,900,000、Indirect Cost: ¥1,470,000)
• Keywords: 強化学習 / マルチモーダルモデル / ロボット基盤モデル

Outline of Research at the Start

ロボットの制御を目的としたマルチモーダル・モデル，いわゆるVision-language action (VLA)モデルは，自然言語によるロボットの制御を可能にし，社会におけるロボットの活用の幅を飛躍的に広げる可能性がある．しかし，現状のVLAモデルの訓練は，大量のデモンストレーションのデータを必要とし，これがVLAモデルの適用の幅を狭めている．そこで本研究では，デモンストレーションのデータへの依存性が低いVLAモデルの訓練アルゴリズムの開発する．具体的には，大規模なVLAモデルに適したオフライン強化学習アルゴリズムの構築や，実世界のロボットの制御に対するVLAモデルの適用などに取り組む．