研究課題
マルチモーダル情報を統合する脳情報空間に改良を加えることを目的に、大規模なfMRIデータを基に脳情報の埋め込み表現を学習するmasked autoencoder（MAE）の導入を行った。このMAEは脳活動を圧縮して埋め込み表現に変えるエンコーダと、埋め込み表現から元の脳活動を復元するデコーダから構成される。fMRIのボクセルにマスクを加える自己教師あり学習を用いて、復元精度が最も高くするようにエンコーダを訓練する。それによって獲得した埋め込み表現は、元の数万次元のfMRIデータを数百次元に圧縮して表現する。この数百次元の埋め込み表現を脳情報空間として利用することで、これまでより効果的にマルチモーダル情報の統合を行い、マルチモーダル認識問題を高い精度で解くことが可能になると考える。そして、その検証のために、Human Connectome Projectが公開している被験者千名以上のデータセットでMAEの学習を行い、独自に取得した映像を視聴中のfMRIデータを用いて評価を行った。結果として、MAEの埋め込み表現は、主成分分析など標準的な次元削減法で得られた表現に比べて、認識問題に有効なことが分かった。さらに、問題によっては、無圧縮の脳活動の空間を用いて認識問題を解いたときよりも高い精度を示すことが分かった。以上の結果は、本研究で提案したMAEによって獲得した脳活動の埋め込み表現が、脳情報を介した認識問題において有効に機能することを示している。今後は、多様な認識問題において、脳情報を介さない既存AIとの比較などを通して、提案手法の有効性をさらに検証していく予定である。
令和5年度が最終年度であるため、記入しない。
すべて 2024 2023
すべて 雑誌論文 (2件) (うち査読あり 1件、 オープンアクセス 1件) 学会発表 (20件) (うち国際学会 4件、 招待講演 5件)
bioRxiv
巻: - ページ: -
10.1101/2024.02.09.579613
Proceedings of 2023 IEEE International Conference on Systems, Man, and Cybernetics (SMC)
巻: - ページ: 4740-4745
10.1109/SMC53992.2023.10394163
