異なるモダリティ間の埋め込み空間を考慮したマルチモーダル構造適応型深層学習の研究

Research Project

Project/Area Number	24K20861
Research Category	Grant-in-Aid for Early-Career Scientists
Allocation Type	Multi-year Fund
Review Section	Basic Section 61040:Soft computing-related
Research Institution	Hiroshima City University
Principal Investigator	鎌田真広島市立大学, 情報科学研究科, 准教授 (30845178)
Project Period (FY)	2024-04-01 – 2027-03-31
Project Status	Granted (Fiscal Year 2024)
Budget Amount *help	¥4,810,000 (Direct Cost: ¥3,700,000、Indirect Cost: ¥1,110,000) Fiscal Year 2026: ¥1,430,000 (Direct Cost: ¥1,100,000、Indirect Cost: ¥330,000) Fiscal Year 2025: ¥1,430,000 (Direct Cost: ¥1,100,000、Indirect Cost: ¥330,000) Fiscal Year 2024: ¥1,950,000 (Direct Cost: ¥1,500,000、Indirect Cost: ¥450,000)
Keywords	深層学習 / マルチモーダル / Transformer
Outline of Research at the Start	本研究では，マルチモーダル深層学習において，画像やテキスト等の異なるモダリティの合成・融合方法や共通の埋め込み空間への写像手法について探求する。異なるモダリティを意味概念が同一である共通の特徴空間で表現することで，入力に欠損があった場合でも，別のモダリティから得られた合成ベクトルに基づいて補間することが可能であり，生物が多様な情報を統合して処理するような高次の情報検索や推論を実現する。