実世界を検索可能とするクロスモーダル言語処理基盤の構築

• Project/Area Number: 23K28168
• Project/Area Number (Other): 23H03478 (2023)
• Research Category: Grant-in-Aid for Scientific Research (B)
• Allocation Type: Multi-year Fund (2024); Single-year Grants (2023)
• Section: 一般
• Review Section: Basic Section 61050:Intelligent robotics-related
• Research Institution: Keio University
• Principal Investigator: 杉浦 孔明 慶應義塾大学, 理工学部(矢上), 教授 (60470473)
• Project Period (FY): 2023-04-01 – 2026-03-31
• Project Status: Granted (Fiscal Year 2024)
• Budget Amount: ¥18,590,000 (Direct Cost: ¥14,300,000、Indirect Cost: ¥4,290,000); Fiscal Year 2025: ¥4,550,000 (Direct Cost: ¥3,500,000、Indirect Cost: ¥1,050,000); Fiscal Year 2024: ¥8,450,000 (Direct Cost: ¥6,500,000、Indirect Cost: ¥1,950,000); Fiscal Year 2023: ¥5,590,000 (Direct Cost: ¥4,300,000、Indirect Cost: ¥1,290,000)
• Keywords: クロスモーダル言語処理 / 実世界検索エンジン / マルチモーダル説明生成 / 生活支援ロボット / マルチモーダル学習

Outline of Research at the Start

トランスフォーマを始めとする最近の深層学習手法は言語・画像処理に恩恵をもたらしたが、ロボティクスにおける多種多様なセンサの情報処理（マルチモーダル情報処理）への波及は不十分である。本研究では、マルチモーダル情報を分類・説明し、行動を生成するマルチモーダル深層学習手法の基盤研究を確立するとともに、生活支援ロボットへの工学的応用を推進する。具体的には、(a)マルチモーダル深層学習による実世界検索エンジンの構築、(b)注意機構に基づく動作のマルチモーダル説明生成、(c)汎用データの生活支援タスクへの転移学習と評価、の３つのサブテーマに関する研究を行う。