2023 Fiscal Year Annual Research Report
Developing brain-integrated AI performing multimodal pattern recognition through a brain information space
| Project/Area Number |
21H03535
|
|---|
| Research Institution | National Institute of Information and Communications Technology |
|---|
Principal Investigator |
西田 知史 国立研究開発法人情報通信研究機構, 未来ICT研究所脳情報通信融合研究センター, 主任研究員 (90751933)
|
|---|
| Project Period (FY) |
2021-04-01 – 2024-03-31
|
| Keywords | マルチモーダル認識 / 脳 / 視覚 / 聴覚 / 言語 / 深層学習 / Masked autoencoder / fMRI |
|---|
| Outline of Annual Research Achievements |
マルチモーダル情報を統合する脳情報空間に改良を加えることを目的に、大規模なfMRIデータを基に脳情報の埋め込み表現を学習するmasked autoencoder（MAE）の導入を行った。このMAEは脳活動を圧縮して埋め込み表現に変えるエンコーダと、埋め込み表現から元の脳活動を復元するデコーダから構成される。fMRIのボクセルにマスクを加える自己教師あり学習を用いて、復元精度が最も高くするようにエンコーダを訓練する。それによって獲得した埋め込み表現は、元の数万次元のfMRIデータを数百次元に圧縮して表現する。この数百次元の埋め込み表現を脳情報空間として利用することで、これまでより効果的にマルチモーダル情報の統合を行い、マルチモーダル認識問題を高い精度で解くことが可能になると考える。そして、その検証のために、Human Connectome Projectが公開している被験者千名以上のデータセットでMAEの学習を行い、独自に取得した映像を視聴中のfMRIデータを用いて評価を行った。結果として、MAEの埋め込み表現は、主成分分析など標準的な次元削減法で得られた表現に比べて、認識問題に有効なことが分かった。さらに、問題によっては、無圧縮の脳活動の空間を用いて認識問題を解いたときよりも高い精度を示すことが分かった。以上の結果は、本研究で提案したMAEによって獲得した脳活動の埋め込み表現が、脳情報を介した認識問題において有効に機能することを示している。今後は、多様な認識問題において、脳情報を介さない既存AIとの比較などを通して、提案手法の有効性をさらに検証していく予定である。
|
| Research Progress Status |
令和5年度が最終年度であるため、記入しない。
|
| Strategy for Future Research Activity |
令和5年度が最終年度であるため、記入しない。
|
