Zero-shot Cross-modal Embedding Learning

2021 年度 研究成果報告書

• 研究課題/領域番号: 19K11987
• 研究種目: 基盤研究(C)
• 配分区分: 基金
• 応募区分: 一般
• 審査区分: 小区分60080:データベース関連
• 研究機関: 国立情報学研究所
• 研究代表者: ュ イ 国立情報学研究所, コンテンツ科学研究系, 特任助教 (00754681)
• 研究期間 (年度): 2019-04-01 – 2022-03-31
• キーワード: Cross-Modal Correlation / Cross-Modal Embedding

研究成果の概要

視・聴覚クロスモーダル学習のために、i）オーディオデータとビジュアルデータを2つの異なるスペースに別々にエンコードし、さらに正準相関分析によって特徴量を共通のサブスペースにマッピングする、ii）確率的モデリング手法を利用して、データにおけるノイズや欠落を処理する、新しい変分オートエンコーダー（VAE）アーキテクチャを提案・評価した。

自由記述の分野

データベース関連

研究成果の学術的意義や社会的意義

The distribution of data in different modalities are inconsistent, which makes it difficult to directly measure the similarity across different modalities. The proposed technique of cross-modal embedding learning can help improve the performance of cross-modal retrieval, recognition, and generation.