脳・画像・テキストデータマイニングによる質感情報表現の解明

• 研究領域: 多様な質感認識の科学的解明と革新的質感技術の創出
• 研究課題/領域番号: 15H05920
• 研究種目: 新学術領域研究(研究領域提案型)
• 配分区分: 補助金
• 審査区分: 複合領域
• 研究機関: 株式会社国際電気通信基礎技術研究所
• 研究代表者: 神谷 之康 株式会社国際電気通信基礎技術研究所, 脳情報通信総合研究所, 研究室長 (50418513)
• 研究期間 (年度): 2015-06-29 – 2020-03-31
• 研究課題ステータス: 完了 (2019年度)
• 配分額: 57,850千円 (直接経費: 44,500千円、間接経費: 13,350千円); 2019年度: 11,310千円 (直接経費: 8,700千円、間接経費: 2,610千円); 2018年度: 11,050千円 (直接経費: 8,500千円、間接経費: 2,550千円); 2017年度: 11,050千円 (直接経費: 8,500千円、間接経費: 2,550千円); 2016年度: 11,830千円 (直接経費: 9,100千円、間接経費: 2,730千円); 2015年度: 12,610千円 (直接経費: 9,700千円、間接経費: 2,910千円)
• キーワード: ブレイン・デコーディング / 視覚 / ブレイン・マシン・インターフェース / fMRI / 深層ニューラルネットワーク / 質感 / 脳情報デコーディング / 認知科学 / 認知神経科学 / 機械学習

研究成果の概要

大規模脳・画像データを用いたデータマイニング的手法により、人間の脳の質感情報表現を発見・利用するアプローチを創出した。画像を見ているときの脳活動パターンからその画像の深層ニューラルネットワーク（DNN）特徴を予測（脳からDNNへの信号変換）する方法を開発し、脳とDNNの間の階層的相同性を見出すとともにその定量化法を確立した。また、脳活動から予測したDNN特徴量を利用して、見ている画像を再構成する方法を開発し、テクスチャや材質に関する画像をそれを見たときの脳活動だけから再構成することに成功した。

研究成果の学術的意義や社会的意義

本プロジェクトの成果は、質感を含む知覚内容を今までにない精度で脳活動から解読できることを実証するとともに、脳－DNN間の信号変換技術にもとづくブレイン・デコーディングのポテンシャルを示している。同様のアプローチは、画像だけでなく、動画や音声、テキストなど、さまざまな刺激に対する脳活動からの情報解読に応用可能で、ブレイン－マシン・インターフェイスの技術の開発にも貢献することが期待される。また、脳との階層的相同性を定量化するBHスコアは、今後の脳型AI開発の指針となると考えられる。

研究成果

• [雑誌論文] End-to-End Deep Image Reconstruction From Human Brain Activity (2019)
  • 著者名/発表者名: Shen Guohua、Dwivedi Kshitij、Majima Kei、Horikawa Tomoyasu、Kamitani Yukiyasu
  • 雑誌名: Frontiers in Computational Neuroscience 巻: 13 ページ: 1-11
  • DOI: 10.3389/fncom.2019.00021
  • 査読あり / オープンアクセス
• [雑誌論文] Deep image reconstruction from human brain activity (2019)
  • 著者名/発表者名: Shen Guohua、Horikawa Tomoyasu、Majima Kei、Kamitani Yukiyasu
  • 雑誌名: PLOS Computational Biology 巻: 15 号: 1 ページ: 1-23
  • DOI: 10.1371/journal.pcbi.1006633
  • 査読あり / オープンアクセス
• [雑誌論文] Characterization of deep neural network features by decodability from human brain activity (2019)
  • 著者名/発表者名: Horikawa Tomoyasu、Aoki Shuntaro C.、Tsukamoto Mitsuaki、Kamitani Yukiyasu
  • 雑誌名: Scientific Data 巻: 6 号: 1 ページ: 190012-190012
  • DOI: 10.1038/sdata.2019.12
  • NAID: 120006713554
  • 査読あり / オープンアクセス
• [雑誌論文] Sparse Ordinal Logistic Regression and Its Application to Brain Decoding (2018)
  • 著者名/発表者名: Emi Satake, Kei Majima, Shuntaro C. Aoki, Yukiyasu Kamitani
  • 雑誌名: Frontiers in Neuroinformatics 巻: 12 ページ: 1-10
  • DOI: 10.3389/fninf.2018.00051
  • 査読あり / オープンアクセス
• [雑誌論文] Sharpening of Hierarchical Visual Feature Representations of Blurred Images (2018)
  • 著者名/発表者名: Mohamed Abdelhack, Yukiyasu Kamitani
  • 雑誌名: eneuro 巻: 5 号: 3 ページ: 1-15
  • DOI: 10.1523/eneuro.0443-17.2018
  • 査読あり / オープンアクセス
• [雑誌論文] Heterogeneous Redistribution of Facial Subcategory Information Within and Outside the Face-Selective Domain in Primate Inferior Temporal Cortex (2018)
  • 著者名/発表者名: Miyakawa Naohisa、Majima Kei、Sawahata Hirohito、Kawasaki Keisuke、Matsuo Takeshi、Kotake Naoki、Suzuki Takafumi、Kamitani Yukiyasu、Hasegawa Isao
  • 雑誌名: Cerebral Cortex 巻: 28 号: 4 ページ: 1416-1431
  • DOI: 10.1093/cercor/bhx342
  • 査読あり / オープンアクセス
• [雑誌論文] Generic decoding of seen and imagined objects using hierarchical visual features (2017)
  • 著者名/発表者名: Horikawa Tomoyasu、Kamitani Yukiyasu
  • 雑誌名: Nature communications 巻: 8 号: 1 ページ: 15037-15037
  • DOI: 10.1038/ncomms15037
  • NAID: 120006305983
  • 査読あり / オープンアクセス
• [雑誌論文] Generic decoding of seen and imagined objects using hierarchical visual features (2017)
  • 著者名/発表者名: Horikawa T, Kamitani Y
  • 雑誌名: Nature communications 巻: 印刷中
  • NAID: 120006305983
  • 査読あり / オープンアクセス / 謝辞記載あり
• [雑誌論文] Associative-memory representations emerge as shared spatial patterns of theta activity spanning the primate temporal cortex (2016)
  • 著者名/発表者名: Kiyoshi Nakahara, Ken Adachi, Keisuke Kawasaki, Takeshi Matsuo, Hirohito Sawahata, Kei Majima, Masaki Takeda, Sayaka Sugiyama, Ryota Nakata, Atsuhiko Iijima, Hisashi Tanigawa, Takafumi Suzuki, Yukiyasu Kamitani, Isao Hasegawa
  • 雑誌名: Nature Communications 巻: 未定 号: 1 ページ: 11827-11827
  • DOI: 10.1038/ncomms11827
  • NAID: 120005822769
  • 査読あり / オープンアクセス / 謝辞記載あり
• [雑誌論文] Induced sensorimotor brain plasticity controls pain in phantom limb patients (2016)
  • 著者名/発表者名: Yanagisawa T, Fukuma R, Seymour B, Hosomi K, Kishima H, Shimizu T, Yokoi H, Hirata M, Yoshimine T, Kamintani Y, Saitoh Y
  • 雑誌名: Nature Communications 巻: 7 号: 1 ページ: 13209-13209
  • DOI: 10.1038/ncomms13209
  • 査読あり / オープンアクセス / 謝辞記載あり
• [雑誌論文] Hierarchical neural representations of dreamed objects revealed by brain decoding with deep neural network features (2016)
  • 著者名/発表者名: Horikawa T, Kamitani Y
  • 雑誌名: Frontires in Computational Neuroscience 巻: 11: 4.
  • DOI: 10.3389/fncom.2017.00004
  • NAID: 120005980907
  • 査読あり / オープンアクセス / 謝辞記載あり
• [雑誌論文] BrainLiner: A Neuroinformatics Platform for Sharing Time-Aligned Brain-Behavior Data (2016)
  • 著者名/発表者名: Takemiya M, Majima K, Tsukamoto M and Kamitani Y
  • 雑誌名: Frontiers in Neuroinformatics 巻: 10 ページ: 3-3
  • DOI: 10.3389/fninf.2016.00003
  • NAID: 120005947013
  • 査読あり / オープンアクセス / 謝辞記載あり
• [学会発表] Attention biases neural representations of hierarchical visual features (2019)
  • 著者名/発表者名: Tomoyasu HORIKAWA, Yukiyasu KAMITANI
  • 学会等名: Cognitive Computational Neuroscience(CCN2019)
  • 国際学会
• [学会発表] 心的イメージの脳情報デコーディング (2019)
  • 著者名/発表者名: 堀川 友慈
  • 学会等名: 日本生理人類学会「感性・脳科学研究部会&睡眠研究部会」合同会合
  • 招待講演
• [学会発表] Inter-individual deep image reconstruction (2019)
  • 著者名/発表者名: Tomoyasu HORIKAWA, Yukiyasu KAMITANI
  • 学会等名: 15th Asea-Pacific Conference on Vision (APCV2019)
  • 国際学会
• [学会発表] Decoding image motion using deep neural network features (2019)
  • 著者名/発表者名: Ken SHIRAKAWA, Yukiyasu KAMITANI
  • 学会等名: 15th Asia-Pacific Conference in Vision (APCV2019)
  • 国際学会
• [学会発表] Reconstructing visual and subjective experience from the brain (2019)
  • 著者名/発表者名: Yukiyasu KAMITANI
  • 学会等名: 15th Asia-Pacific Conference on Vision(APCV2019)
  • 国際学会 / 招待講演
• [学会発表] Brain hierarchy score: Which deep neural network most matches the human visual hierarchy? (2019)
  • 著者名/発表者名: Soma NONAKA, Shuntaro C. Aoki, Kei MAJIMA, Yukiyasu KAMITANI
  • 学会等名: 第42回日本神経科学大会(Neuro2019)
  • 国際学会
• [学会発表] Framework for predicting probability from brain activity (2019)
  • 著者名/発表者名: Shirin VAFAEI, Kei MAJIMA,
  • 学会等名: 第42回日本神経科学大会(Neuro2019)
  • 国際学会
• [学会発表] Dissonant imaginary (2019)
  • 著者名/発表者名: Yukiyasu KAMITANI, Daito MANABE
  • 学会等名: Sonar2019 Music, Creativity & Technology
  • 国際学会 / 招待講演
• [学会発表] Neural decoding of what's not there from human brain activity (2019)
  • 著者名/発表者名: Tomoyasu HORIKAWA
  • 学会等名: A Workshop on Hallucinations,Dreams,Imagination,and Virtual Reality,Experiencing What's Not There
  • 国際学会 / 招待講演
• [学会発表] Brain decoding of auditory-induced cortical activity with deep neural network features (2018)
  • 著者名/発表者名: Jongyun Park, Tomoyasu Horikawa, Kei Majima,Yukiyasu Kamitani
  • 学会等名: 2018 Annual Meeting of Korean Society for Cognitive Science
  • 国際学会
• [学会発表] Deep image reconstruction from the human brain (2018)
  • 著者名/発表者名: Yukiyasu Kamitani
  • 学会等名: 2018 Annual Meeting of Korean Society for Cognitive Science
  • 国際学会 / 招待講演
• [学会発表] Sparse ordinal logistic regression and its application to brain decoding (2018)
  • 著者名/発表者名: Emi Satake, Kei Majima, Shuntaro C Aoki, Yukiyasu Kamitani
  • 学会等名: 第41回日本神経科学大会
  • 国際学会
• [学会発表] Decoding of depth information from human brain activity (2018)
  • 著者名/発表者名: Akira Murakami, Kshitij Dwivedi, Yukiyasu Kamitani
  • 学会等名: 第41回日本神経科学大会
  • 国際学会
• [学会発表] 深層ニューラルネットワークを介した心的イメージの解読 (2018)
  • 著者名/発表者名: 堀川友慈
  • 学会等名: 第29回生理科学実験技術トレーニングコース
  • 招待講演
• [学会発表] Decoding of seen and imagined contents from the human brain via deep neural network representation (2018)
  • 著者名/発表者名: Tomoyasu Horikawa
  • 学会等名: 第28回日本神経回路学会全国大会(JNNS2018)
  • 国際学会 / 招待講演
• [学会発表] 深層ニューラルネットワークと脳の相同性とその応用 (2018)
  • 著者名/発表者名: 神谷之康
  • 学会等名: 第2回ヒト脳イメージング研究会
  • 招待講演
• [学会発表] Brain-DNN homology and its applications (2018)
  • 著者名/発表者名: Yukiyasu Kamitani
  • 学会等名: 第28回日本神経回路学会全国大会(JNNS2018)
  • 国際学会 / 招待講演
• [学会発表] Deep image reconstruction from the human brain (2018)
  • 著者名/発表者名: Yukiyasu Kamitani
  • 学会等名: The 5th CiNet Conference
  • 国際学会
• [学会発表] Top-down modulation in human visual cortex revealed by brain decoding with deep neural network representation (2018)
  • 著者名/発表者名: Mohamed Abdelhack, Yukiyasu Kamitani
  • 学会等名: The 5th CiNet Conference
  • 国際学会
• [学会発表] Shared hierarchical neural representations between perception, imagery, and dreaming (2017)
  • 著者名/発表者名: Horikawa T
  • 学会等名: 計算論的神経科学に関するNICT-NSF連携ワークショップ
  • 発表場所: NICT脳情報通信融合研究センター（大阪府）
  • 年月日: 2017-01-17
  • 招待講演
• [学会発表] Deep image reconstruction from human brain activity (2017)
  • 著者名/発表者名: Guohua SHEN, Tomoyasu HORIKAWA, Kei MAJIMA, Yukiyasu KAMITANI
  • 学会等名: Annual Conference on Cognitive Computational Neuroscience(CCN)
  • 国際学会
• [学会発表] Induction of sensorimotor plasticity altered pain in phantom limb patients with instructions to not move the phantom hand (2017)
  • 著者名/発表者名: Takufumi YANAGISAWA, Ryohei FUKUMA, Ben SEYMOUR, Kouichi HOSOMI, Haruhiko KISHIMA, Masahiro SHIBATA, Hiroshi YOKOI, Toshiki YOSHIMINE,Yukiyasu KAMITANI, Youichi SAITOH
  • 学会等名: 第40回日本神経科学大会(Neuroscience2017)
  • 国際学会
• [学会発表] Top-down neural processing that supplements missing image features revealed by brain decoding with deep neural network representation (2017)
  • 著者名/発表者名: Mohamed ABDELHACK, Yukiyasu KAMITANI
  • 学会等名: Vision Sciences Society 17th Annual Meeting(VSS2017)
  • 国際学会
• [学会発表] Brain decoding via deep neural network feature representation (2016)
  • 著者名/発表者名: Horikawa T
  • 学会等名: 第39回日本神経科学大会(Neuroscience2016)
  • 発表場所: パシフィコ横浜（神奈川県）
  • 年月日: 2016-07-20
• [学会発表] Generic decoding of seen and imagined objects using features of deep neural networks (2016)
  • 著者名/発表者名: Horikawa T
  • 学会等名: Vision Science Society 16th Annual Meeting(VSS2016)
  • 発表場所: Flolida（USA）
  • 年月日: 2016-05-13
  • 国際学会
• [学会発表] 視覚的夢内容のブレイン・デコーディング (2016)
  • 著者名/発表者名: 堀川 友慈
  • 学会等名: 第18回日本ヒト脳機能マッピング学会
  • 発表場所: 京都大学桂キャンパス 船井哲良記念講堂（京都府）
  • 年月日: 2016-03-07
  • 招待講演
• [学会発表] Brain decoding of visual dream contents (2016)
  • 著者名/発表者名: Tomoyasu HORIKAWA
  • 学会等名: 脳と心のメカニズム第16回冬のワークショップ
  • 発表場所: ルスツリゾート（北海道）
  • 年月日: 2016-01-06
  • 招待講演
• [学会発表] 脳情報デコーディング-脳から心を読む技術 (2015)
  • 著者名/発表者名: 神谷 之康
  • 学会等名: 第33回大阪科学賞表彰式・記念講演
  • 発表場所: 大阪科学技術センター8階大ホール（大阪府）
  • 年月日: 2015-10-28
  • 招待講演
• [学会発表] 脳画像から心を読む (2015)
  • 著者名/発表者名: 神谷 之康
  • 学会等名: 第18回画像の認識・理解シンポジウム(MIRU2015)
  • 発表場所: ホテル阪急エキスポパーク（大阪府）
  • 年月日: 2015-07-27
  • 招待講演
• [備考] Github: Generic object decoding
  • URL: https://github.com/KamitaniLab/GenericObjectDecoding
• [備考] Github: Brain Decoder Toolbox 2
  • URL: https://github.com/KamitaniLab/BrainDecoderToolbox2