計画研究
本研究課題では、大規模データを用いたデータマイニング的手法により、質感情報表現を発見するアプローチの創出を目指している。平成28年度は、画像および言語データベースを用いて訓練した深層学習モデルによる質感情報の特徴抽出法の開発、および、fMRI実験・予備解析の実施を計画した。材質を分類するように訓練・チューニングした深層学習モデルから抽出される特徴を、脳からのdecodabilityを用いて評価した。その結果、深層学習モデルの中間層で、脳情報表現に対応する特徴が生成されることが示唆された。また、深層学習モデルのユニット間の相関が画像スタイルを表現するという先行研究にもとづき、脳から特徴量相関をデコードする解析を実施した。個々の特徴量に比べ、比較的高い精度で予測できることが明らかとなった。言語特徴に関しては、リカレントニューラルネットワークを用いて解析を進めた。当初の方法では、質感を記述する形容詞を多次元空間に適切に埋め込むことができず、現在新たな方法の開発を模索している。一方で、形容詞スコアそのものを脳からデコードする解析を実施し、脳部位ごとにデコードしやすい（しにくい）形容詞のグループを同定した。これらと並行して、トップダウンのプロセスにより質感情報が補完される現象について予備的な研究を実施した。劣化画像を刺激として用いた脳活動パターンの解析により、脳の階層的情報処理と補完現象を関連付けることが可能となった。
2: おおむね順調に進展している
画像特徴に関しては順調に研究が進んでいるが、言語特徴に関しては、新たなモデルを用いた方法を模索している段階である。当初の計画にはなかったが、トップダウンの効果により画像特徴が補完される現状いついて興味深い観察が得られたため、そちらについても研究を進めた。
今後は、標準化されたプロトコルでfMR実験を実施し、スケーラブルなデータベースを構築して解析を加速させる。また、トップダウンの効果により、画像特徴が補完されるプロセスを、深層学習モデルと対応付けながら解明する。
すべて 2017 2016 その他
すべて 雑誌論文 (4件) (うち査読あり 4件、 オープンアクセス 4件、 謝辞記載あり 4件) 学会発表 (3件) (うち国際学会 1件、 招待講演 1件) 備考 (2件)
Nature communications
巻: 印刷中 ページ: -
Nature Communications
巻: 7 ページ: -
10.1038/ncomms11827
10.1038/ncomms13209
Frontires in Computational Neuroscience
巻: 11: 4. ページ: -
10.3389/fncom.2017.00004
https://github.com/KamitaniLab/GenericObjectDecoding
https://github.com/KamitaniLab/BrainDecoderToolbox2
