2018 Fiscal Year Annual Research Report
Data-mining of shitsukan representation using brain, image, and text data
| Project Area | Understanding human recognition of material properties for innovation in SHITSUKAN science and technology |
|---|
| Project/Area Number |
15H05920
|
|---|
| Research Institution | Advanced Telecommunications Research Institute International |
|---|
Principal Investigator |
神谷 之康 株式会社国際電気通信基礎技術研究所, 脳情報通信総合研究所, 研究室長 (50418513)
|
|---|
| Project Period (FY) |
2015-06-29 – 2020-03-31
|
| Keywords | 認知科学 |
|---|
| Outline of Annual Research Achievements |
本研究課題では、大規模データを用いたデータマイニング的手法により質感情報表現を発見するアプローチの創出を目指している。これまでの研究から、ヒトの脳活動パターンと深層ニューラルネットワーク（DNN）の信号パターンの間に情報表現の階層的相同性を発見し、脳からDNNへの信号変換が可能であることを見出した。この方法にもとづいて、質感を生み出す多彩な特徴とその脳内表現にアプローチすることができると考えられる。本年度は、以下の成果が得られた。
１）脳から予測したDNN特徴のデコード精度を被験者間で比較し、脳から予測しやすい（しにくい）DNN特徴が被験者間で類似しているかどうかを調べた。DNNの各層の特徴量をヒト視覚野の脳活動パターンから予測し、その予測精度を被験者ペア間で比較した結果、高い相関（相関係数、0.7－0.85）があることが明らかとなった。この結果は、大規模データから抽出されたDNN情報表現の一部が生物学的に意味のあるパターンをコードしていることを示唆している。
２）これまでに開発した画像再構成・生成モデルをテクスチャ画像を含むデータベースで訓練することで、質感関連画像刺激の脳活動パターンからの再構成を試みた。一部の画像では、刺激のテクスチャを忠実に再現することができた。
３）感情を惹起する動画や環境音刺激を用いて得られた脳データをもとに、エンコード・デコード解析を行い、情動的質感の脳表現を探索した。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
DNNの階層的情報表現を利用して脳活動から刺激画像を再構成する論文が、Plos Computational Biology誌、Frontiers in Coputational Neuroscience誌に受理された。また、被験者間のデコード精度の比較を含むデータ出版論文が、Scientific Data誌に受理された。当初のメンバーに加え、研究室スタッフ・学生（Guhua Shen, Shirin Vafaei, Jong-Yun Park, Simon Helling）が新たにこのプロジェクトに参加した 。
|
| Strategy for Future Research Activity |
実験の標準化、スケーラブルなデータベースの構築をさらに進める。既存の訓練済みDNNを多数用いた結果も公表し、コンピュータビジョンへの貢献を図る。
|
Research Products
(15 results)
