2016 Fiscal Year Annual Research Report
Data-mining of shitsukan representation using brain, image, and text data
| Project Area | Understanding human recognition of material properties for innovation in SHITSUKAN science and technology |
|---|
| Project/Area Number |
15H05920
|
|---|
| Research Institution | Advanced Telecommunications Research Institute International |
|---|
Principal Investigator |
神谷 之康 株式会社国際電気通信基礎技術研究所, 脳情報通信総合研究所, 研究室長 (50418513)
|
|---|
| Project Period (FY) |
2015-06-29 – 2020-03-31
|
| Keywords | 認知科学 / ブレイン・デコーディング / fMRI / 認知神経科学 / 視覚 / 機械学習 |
|---|
| Outline of Annual Research Achievements |
本研究課題では、大規模データを用いたデータマイニング的手法により、質感情報表現を発見するアプローチの創出を目指している。平成28年度は、画像および言語データベースを用いて訓練した深層学習モデルによる質感情報の特徴抽出法の開発、および、fMRI実験・予備解析の実施を計画した。材質を分類するように訓練・チューニングした深層学習モデルから抽出される特徴を、脳からのdecodabilityを用いて評価した。その結果、深層学習モデルの中間層で、脳情報表現に対応する特徴が生成されることが示唆された。また、深層学習モデルのユニット間の相関が画像スタイルを表現するという先行研究にもとづき、脳から特徴量相関をデコードする解析を実施した。個々の特徴量に比べ、比較的高い精度で予測できることが明らかとなった。言語特徴に関しては、リカレントニューラルネットワークを用いて解析を進めた。当初の方法では、質感を記述する形容詞を多次元空間に適切に埋め込むことができず、現在新たな方法の開発を模索している。一方で、形容詞スコアそのものを脳からデコードする解析を実施し、脳部位ごとにデコードしやすい（しにくい）形容詞のグループを同定した。これらと並行して、トップダウンのプロセスにより質感情報が補完される現象について予備的な研究を実施した。劣化画像を刺激として用いた脳活動パターンの解析により、脳の階層的情報処理と補完現象を関連付けることが可能となった。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
画像特徴に関しては順調に研究が進んでいるが、言語特徴に関しては、新たなモデルを用いた方法を模索している段階である。当初の計画にはなかったが、トップダウンの効果により画像特徴が補完される現状いついて興味深い観察が得られたため、そちらについても研究を進めた。
|
| Strategy for Future Research Activity |
今後は、標準化されたプロトコルでfMR実験を実施し、スケーラブルなデータベースを構築して解析を加速させる。また、トップダウンの効果により、画像特徴が補完されるプロセスを、深層学習モデルと対応付けながら解明する。
|
-
-
[Journal Article] Associative-memory representations emerge as shared spatial patterns of theta activity spanning the primate temporal cortex2016
Author(s)
Nakahara K, Adachi K, Kawasaki K, Matsuo T, Sawahata H, Majima K, Takeda M, Sugiyama S, Nakata R, Iijima A, Tanigawa H, Suzuki T, Kamitani Y, Hasegawa I
-
Journal Title
Nature Communications
Volume: 7
Pages: -
DOI
Peer Reviewed / Open Access / Acknowledgement Compliant
-
[Journal Article] Induced sensorimotor brain plasticity controls pain in phantom limb patients2016
Author(s)
Yanagisawa T, Fukuma R, Seymour B, Hosomi K, Kishima H, Shimizu T, Yokoi H, Hirata M, Yoshimine T, Kamintani Y, Saitoh Y
-
Journal Title
Nature Communications
Volume: 7
Pages: -
DOI
Peer Reviewed / Open Access / Acknowledgement Compliant
-
-
-
-
-
-
