実世界を検索可能とするクロスモーダル言語処理基盤の構築

• 研究課題/領域番号: 23K28168
• 補助金の研究課題番号: 23H03478 (2023)
• 研究種目: 基盤研究(B)
• 配分区分: 基金 (2024); 補助金 (2023)
• 応募区分: 一般
• 審査区分: 小区分61050:知能ロボティクス関連
• 研究機関: 慶應義塾大学
• 研究代表者: 杉浦 孔明 慶應義塾大学, 理工学部(矢上), 教授 (60470473)
• 研究期間 (年度): 2023-04-01 – 2026-03-31
• 研究課題ステータス: 交付 (2024年度)
• 配分額: 18,590千円 (直接経費: 14,300千円、間接経費: 4,290千円); 2025年度: 4,550千円 (直接経費: 3,500千円、間接経費: 1,050千円); 2024年度: 8,450千円 (直接経費: 6,500千円、間接経費: 1,950千円); 2023年度: 5,590千円 (直接経費: 4,300千円、間接経費: 1,290千円)
• キーワード: クロスモーダル言語処理 / 実世界検索エンジン / マルチモーダル説明生成 / 生活支援ロボット / マルチモーダル学習

研究開始時の研究の概要

トランスフォーマを始めとする最近の深層学習手法は言語・画像処理に恩恵をもたらしたが、ロボティクスにおける多種多様なセンサの情報処理（マルチモーダル情報処理）への波及は不十分である。本研究では、マルチモーダル情報を分類・説明し、行動を生成するマルチモーダル深層学習手法の基盤研究を確立するとともに、生活支援ロボットへの工学的応用を推進する。具体的には、(a)マルチモーダル深層学習による実世界検索エンジンの構築、(b)注意機構に基づく動作のマルチモーダル説明生成、(c)汎用データの生活支援タスクへの転移学習と評価、の３つのサブテーマに関する研究を行う。