脳・画像・テキストデータマイニングによる質感情報表現の解明

2018 年度 実績報告書

• 研究領域: 多様な質感認識の科学的解明と革新的質感技術の創出
• 研究課題/領域番号: 15H05920
• 研究機関: 株式会社国際電気通信基礎技術研究所
• 研究代表者: 神谷 之康 株式会社国際電気通信基礎技術研究所, 脳情報通信総合研究所, 研究室長 (50418513)
• 研究期間 (年度): 2015-06-29 – 2020-03-31
• キーワード: 認知科学

研究実績の概要

本研究課題では、大規模データを用いたデータマイニング的手法により質感情報表現を発見するアプローチの創出を目指している。これまでの研究から、ヒトの脳活動パターンと深層ニューラルネットワーク（DNN）の信号パターンの間に情報表現の階層的相同性を発見し、脳からDNNへの信号変換が可能であることを見出した。この方法にもとづいて、質感を生み出す多彩な特徴とその脳内表現にアプローチすることができると考えられる。本年度は、以下の成果が得られた。
１）脳から予測したDNN特徴のデコード精度を被験者間で比較し、脳から予測しやすい（しにくい）DNN特徴が被験者間で類似しているかどうかを調べた。DNNの各層の特徴量をヒト視覚野の脳活動パターンから予測し、その予測精度を被験者ペア間で比較した結果、高い相関（相関係数、0.7－0.85）があることが明らかとなった。この結果は、大規模データから抽出されたDNN情報表現の一部が生物学的に意味のあるパターンをコードしていることを示唆している。
２）これまでに開発した画像再構成・生成モデルをテクスチャ画像を含むデータベースで訓練することで、質感関連画像刺激の脳活動パターンからの再構成を試みた。一部の画像では、刺激のテクスチャを忠実に再現することができた。
３）感情を惹起する動画や環境音刺激を用いて得られた脳データをもとに、エンコード・デコード解析を行い、情動的質感の脳表現を探索した。

現在までの達成度 (区分)

2: おおむね順調に進展している

理由

DNNの階層的情報表現を利用して脳活動から刺激画像を再構成する論文が、Plos Computational Biology誌、Frontiers in Coputational Neuroscience誌に受理された。また、被験者間のデコード精度の比較を含むデータ出版論文が、Scientific Data誌に受理された。当初のメンバーに加え、研究室スタッフ・学生（Guhua Shen, Shirin Vafaei, Jong-Yun Park, Simon Helling）が新たにこのプロジェクトに参加した 。

今後の研究の推進方策

実験の標準化、スケーラブルなデータベースの構築をさらに進める。既存の訓練済みDNNを多数用いた結果も公表し、コンピュータビジョンへの貢献を図る。

研究成果

• [雑誌論文] Deep image reconstruction from human brain activity (2019)
  • 著者名/発表者名: Guohua Shen, Tomoyasu Horikawa, Kei Majima, Yukiyasu Kamitani
  • 雑誌名: PLOS Computational Biology 巻: 15 ページ: e1006633
  • DOI: 10.1371/journal.pcbi.1006633
  • 査読あり / オープンアクセス
• [雑誌論文] Characterization of deep neural network features by decodability from human brain activity (2019)
  • 著者名/発表者名: Tomoyasu Horikawa, Shuntaro C. Aoki, Mitsuaki Tsukamoto, Yukiyasu Kamitani
  • 雑誌名: Scientific Data 巻: 6 ページ: 190012
  • DOI: 10.1038/sdata.2019.12
  • 査読あり / オープンアクセス
• [雑誌論文] End-to-End Deep Image Reconstruction From Human Brain Activity (2019)
  • 著者名/発表者名: Guohua Shen, Tomoyasu Horikawa, Kei Majima, Tomoyasu Horikawa, Yukiyasu Kamitani
  • 雑誌名: Frontiers in Computational Neuroscience 巻: 13 ページ: 1-11
  • DOI: 10.3389/fncom.2019.00021
  • 査読あり / オープンアクセス
• [雑誌論文] Sparse Ordinal Logistic Regression and Its Application to Brain Decoding (2018)
  • 著者名/発表者名: Emi Satake, Kei Majima, Shuntaro C. Aoki, Yukiyasu Kamitani
  • 雑誌名: Frontiers in Neuroinformatics 巻: 12 ページ: 1-10
  • DOI: 10.3389/fninf.2018.00051
  • 査読あり / オープンアクセス
• [雑誌論文] Sharpening of Hierarchical Visual Feature Representations of Blurred Images (2018)
  • 著者名/発表者名: Mohamed Abdelhack, Yukiyasu Kamitani
  • 雑誌名: eneuro 巻: 5 ページ: 1-15
  • DOI: 10.1523/ENEURO.0443-17.2018
  • 査読あり / オープンアクセス
• [学会発表] Brain decoding of auditory-induced cortical activity with deep neural network features (2018)
  • 著者名/発表者名: Jongyun Park, Tomoyasu Horikawa, Kei Majima,Yukiyasu Kamitani
  • 学会等名: 2018 Annual Meeting of Korean Society for Cognitive Science
  • 国際学会
• [学会発表] Deep image reconstruction from the human brain (2018)
  • 著者名/発表者名: Yukiyasu Kamitani
  • 学会等名: 2018 Annual Meeting of Korean Society for Cognitive Science
  • 国際学会 / 招待講演
• [学会発表] Sparse ordinal logistic regression and its application to brain decoding (2018)
  • 著者名/発表者名: Emi Satake, Kei Majima, Shuntaro C Aoki, Yukiyasu Kamitani
  • 学会等名: 第41回日本神経科学大会
  • 国際学会
• [学会発表] Decoding of depth information from human brain activity (2018)
  • 著者名/発表者名: Akira Murakami, Kshitij Dwivedi, Yukiyasu Kamitani
  • 学会等名: 第41回日本神経科学大会
  • 国際学会
• [学会発表] 深層ニューラルネットワークを介した心的イメージの解読 (2018)
  • 著者名/発表者名: 堀川友慈
  • 学会等名: 第29回生理科学実験技術トレーニングコース
  • 招待講演
• [学会発表] Decoding of seen and imagined contents from the human brain via deep neural network representation (2018)
  • 著者名/発表者名: Tomoyasu Horikawa
  • 学会等名: 第28回日本神経回路学会全国大会(JNNS2018)
  • 国際学会 / 招待講演
• [学会発表] 深層ニューラルネットワークと脳の相同性とその応用 (2018)
  • 著者名/発表者名: 神谷之康
  • 学会等名: 第2回ヒト脳イメージング研究会
  • 招待講演
• [学会発表] Brain-DNN homology and its applications (2018)
  • 著者名/発表者名: Yukiyasu Kamitani
  • 学会等名: 第28回日本神経回路学会全国大会(JNNS2018)
  • 国際学会 / 招待講演
• [学会発表] Deep image reconstruction from the human brain (2018)
  • 著者名/発表者名: Yukiyasu Kamitani
  • 学会等名: The 5th CiNet Conference
  • 国際学会
• [学会発表] Top-down modulation in human visual cortex revealed by brain decoding with deep neural network representation (2018)
  • 著者名/発表者名: Mohamed Abdelhack, Yukiyasu Kamitani
  • 学会等名: The 5th CiNet Conference
  • 国際学会