2021 Fiscal Year Annual Research Report
Developing brain-integrated AI performing multimodal pattern recognition through a brain information space
| Project/Area Number |
21H03535
|
|---|
| Research Institution | National Institute of Information and Communications Technology |
|---|
Principal Investigator |
西田 知史 国立研究開発法人情報通信研究機構, 未来ICT研究所脳情報通信融合研究センター, 主任研究員 (90751933)
|
|---|
| Project Period (FY) |
2021-04-01 – 2024-03-31
|
| Keywords | マルチモーダル認識 / 脳 / 視覚 / 聴覚 / 音声 / 深層学習 / fMRI |
|---|
| Outline of Annual Research Achievements |
マルチモーダル認識に利用可能な脳情報モデルを作成するため、視覚、聴覚、言語の異なるモダリティ入力に対する脳活動を計測するための機能的磁気共鳴画像（fMRI）実験を実施した。映像刺激および音楽刺激を実験に使用し、前年度までに取得したデータも含め、それぞれ68名分と50名分の脳活動データを取得した。言語入力に対する脳活動データについては、映像に対するシーン記述の言語アノテーションを付与することで、仮想的に取得することができた。そのうえで視覚、聴覚、言語のそれぞれを扱う深層学習モデル（VGG-16、SoundNet、BERT）を基に、マルチモダリティ入力から脳活動を予測するモデルを構築し、予測した脳活動を介してマルチモーダル認識問題を解くことに成功した。特に、映像と音声を含むマルチモダリティ入力からそれに紐付いた認知内容（印象や選好など）を推定し、いくつかの問題においては脳活動予測を介さない（脳情報を利用しない）場合に比べて、高い推定性能を確認できた。また同時に、個々人の脳活動から学習した予測モデルを利用することで、入力に紐付いた個々人の認知内容の個人差を推定することに成功した。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
fMRI実験は予定通り完了し、脳活動データを基に脳情報モデルの構築も完了した。深層学習と融合したそれらのモデルを、マルチモダリティ情報の認識問題に適用し、脳情報を用いない場合に比べて高い性能を発揮することも確認できた。また、個々人の脳情報モデルを用いて認識内容の個人差も推定できることが分かり、当初の予定になかった個性を考慮したマルチモダリティ認識にも、開発技術を適用できる可能性を示唆した。以上のことから、研究は順調に進展しているといえる。
|
| Strategy for Future Research Activity |
今回は、映像と音声を含むマルチモダリティ情報を扱うだけにとどまったが、今後は言語など他のモダリティも組み込んで、様々なマルチモダリティ認識に開発技術を適用することを計画している。
|
Research Products
(10 results)
