ロボット動作生成モデルと大規模言語モデルとの統合学習方式の開発

• Project/Area Number: 24K20877
• Research Category: Grant-in-Aid for Early-Career Scientists
• Allocation Type: Multi-year Fund
• Review Section: Basic Section 61050:Intelligent robotics-related
• Research Institution: Fujitsu Limited (Fujitsu Research)
• Principal Investigator: 鈴木 彼方 富士通株式会社(富士通研究所), その他部局等, 研究員 (10851264)
• Project Period (FY): 2024-04-01 – 2028-03-31
• Project Status: Granted (Fiscal Year 2024)
• Budget Amount: ¥4,290,000 (Direct Cost: ¥3,300,000、Indirect Cost: ¥990,000); Fiscal Year 2027: ¥520,000 (Direct Cost: ¥400,000、Indirect Cost: ¥120,000); Fiscal Year 2026: ¥520,000 (Direct Cost: ¥400,000、Indirect Cost: ¥120,000); Fiscal Year 2025: ¥520,000 (Direct Cost: ¥400,000、Indirect Cost: ¥120,000); Fiscal Year 2024: ¥2,730,000 (Direct Cost: ¥2,100,000、Indirect Cost: ¥630,000)
• Keywords: 大規模言語モデル / ロボット動作学習 / 深層学習

Outline of Research at the Start

本研究ではLLMとロボット動作学習を統合することで，実環境下での運動とそれに付随する言語指示が適切に紐づけられたロボットタスクの遂行を目指す．本研究では動作・言語の各モデルを共通する潜在空間上で少数の言語-運動ペアデータで適切に結び付けることで，運動から言語のフィードバックが可能な統合予測モデルを構築する．加えて，同義文・反意文などに基づいた距離学習を潜在空間学習に導入することで，動作と紐づいた多様な言語指示を扱うことが可能なロボット動作生成モデルの開発に取り組む．