異なるモダリティ間の埋め込み空間を考慮したマルチモーダル構造適応型深層学習の研究

• 研究課題/領域番号: 24K20861
• 研究種目: 若手研究
• 配分区分: 基金
• 審査区分: 小区分61040:ソフトコンピューティング関連
• 研究機関: 広島市立大学
• 研究代表者: 鎌田 真 広島市立大学, 情報科学研究科, 准教授 (30845178)
• 研究期間 (年度): 2024-04-01 – 2027-03-31
• 研究課題ステータス: 交付 (2024年度)
• 配分額: 4,810千円 (直接経費: 3,700千円、間接経費: 1,110千円); 2026年度: 1,430千円 (直接経費: 1,100千円、間接経費: 330千円); 2025年度: 1,430千円 (直接経費: 1,100千円、間接経費: 330千円); 2024年度: 1,950千円 (直接経費: 1,500千円、間接経費: 450千円)
• キーワード: 深層学習 / マルチモーダル / Transformer

研究開始時の研究の概要

本研究では，マルチモーダル深層学習において，画像やテキスト等の異なるモダリティの合成・融合方法や共通の埋め込み空間への写像手法について探求する。異なるモダリティを意味概念が同一である共通の特徴空間で表現することで，入力に欠損があった場合でも，別のモダリティから得られた合成ベクトルに基づいて補間することが可能であり，生物が多様な情報を統合して処理するような高次の情報検索や推論を実現する。