• 研究課題をさがす
  • 研究者をさがす
  • KAKENの使い方
  1. 課題ページに戻る

2018 年度 実績報告書

心的イメージの神経基盤の解明

研究課題

研究課題/領域番号 15H05710
研究機関京都大学

研究代表者

神谷 之康  京都大学, 情報学研究科, 教授 (50418513)

研究分担者 塚本 光昭  株式会社国際電気通信基礎技術研究所, 脳情報通信総合研究所, 研究技術員 (00514481)
西本 伸志  国立研究開発法人情報通信研究機構, 脳情報通信融合研究センター脳情報通信融合研究室, 主任研究員 (00713455)
吉川 左紀子  京都大学, こころの未来研究センター, 教授 (40158407)
柳澤 琢史  大阪大学, 高等共創研究院, 教授 (90533802)
研究期間 (年度) 2015-05-29 – 2020-03-31
キーワード認知科学
研究実績の概要

イメージはわれわれの心の状態を構成する重要な要素の一つである。イメージは外界からの刺激によって誘発されるだけでなく、自発的な想起や睡眠中の夢でも生じる。これらのイメージの類似性は共通の神経基盤の存在を示唆するが、その実体はいまだ明らかではない。本課題は、機械学習を用いた脳活動パターン解析により、知覚、想起、および、夢に共通する神経情報表現を明らかにする。
これまでの研究から、深層ニューラルネットワーク(DNN)を利用した解析法が当初の予想以上に強力であることが判明したことを受け、積極的にその強みを活かすべく各プロジェクトに取り入れた。本年度は以下のような成果が得られた。1)脳からデコードしたDNN特徴にもとづく画像再構成モデルに加え、End-to-end型のモデルの検証を進めた。この手法では、大量の脳計測データが必要となることが予測されたが、6,000サンプル程度で、人が識別可能な画像を生成することができることが判明した。2)これらの手法を用いて、錯視画像を見せたときの脳活動から、画像再構成・生成を試みた。幾何学錯視・空間的補填錯視を中心に刺激画像を収集し、予備実験を行った。一部の錯視では、刺激画像の物理的再現ではなく、知覚イメージを再現する結果が得られた。3)REM睡眠実験については、研究基盤・実験ルーチーンが確立した。着実にデータの蓄積が進んでおり、画像特徴の予測などの解析を行った。4)ECoG-ライフログデータ解析については、意味的特徴量の予測システムが完成し、オンラインBMIへの実装が完了した。

現在までの達成度 (区分)
現在までの達成度 (区分)

2: おおむね順調に進展している

理由

想起イメージを脳活動から再構成することに初めて成功した論文がPlos Computational Biologyに掲載され、公開したYoutube動画は、海外のメディア等で多数取り上げられた。その他、トップダウン処理による脳内画像表現の「シャープ化」に関する論文が、enouroに掲載されるなど、本課題の成果の公表が進み、大きな反響を得ている。睡眠実験は当初の予想よりもペースが遅いが、着実にデータの蓄積は進んでいる。ECoGライフログシステムは、今後のテスト・改良が必要であるが、一応の完成を見ることができた。

今後の研究の推進方策

当初の計画から根本的な変更点はないが、ECoGライフログシステムが完成したため、今年度の計画からは除外する。これまでに得られた予備実験をベースに本実験を行い、成果の取りまとめを進める。被験者間のデコーダの汎化をテストし、より少数の学習データによるイメージ再構成の実現を目指す。

  • 研究成果

    (48件)

すべて 2019 2018

すべて 雑誌論文 (12件) (うち国際共著 1件、 査読あり 12件、 オープンアクセス 11件) 学会発表 (35件) (うち国際学会 18件、 招待講演 15件) 産業財産権 (1件)

  • [雑誌論文] Deep image reconstruction from human brain activity2019

    • 著者名/発表者名
      Guohua Shen, Tomoyasu Horikawa, Kei Majima, Yukiyasu Kamitani
    • 雑誌名

      PLOS Computational Biology

      巻: 15 ページ: 1-23

    • DOI

      10.1371/journal.pcbi.1006633

    • 査読あり / オープンアクセス
  • [雑誌論文] Characterization of deep neural network features by decodability from human brain activity2019

    • 著者名/発表者名
      Tomoyasu Horikawa, i Shuntaro C.Aok, Mitsuaki Tsukamoto, Yukiyasu Kamitani
    • 雑誌名

      Scientific Data

      巻: 6 ページ: 1-12

    • DOI

      10.1038/sdata.2019.12

    • 査読あり / オープンアクセス
  • [雑誌論文] 幻肢痛患者の主観的な幻肢運動の皮質表現2019

    • 著者名/発表者名
      福間良平 、柳澤琢史 、田中將貴 、Ben Seymour、細見晃一 、貴島晴彦 、吉峰俊樹 、神谷之康 、齋藤洋一
    • 雑誌名

      PAIN RESEARCH(日本疼痛学会)

      巻: 印刷中 ページ: 印刷中

    • 査読あり / 国際共著
  • [雑誌論文] Mapping stimulus feature selectivity in macaque V1 by two-photon Ca2+ imaging: Encoding-model analysis of fluorescence responses to natural movies2018

    • 著者名/発表者名
      Koji Ikezoe, Mahya Amano , Shinji Nishimoto, Ichiro Fujita
    • 雑誌名

      NeuroImage

      巻: 180 ページ: 312-323

    • DOI

      10.1016/j.neuroimage.2018.01.009

    • 査読あり / オープンアクセス
  • [雑誌論文] Training in Use of Brain-Machine Interface-Controlled Robotic Hand Improves Accuracy Decoding Two Types of Hand Movements2018

    • 著者名/発表者名
      Ryohei Fukuma, Takufumi Yanagisawa, Hiroshi Yokoi, Masayuki Hirata, Yoshimine Toshiki, Saitoh Youichi, Kamitani Yukiyasu, Haruhiko Kishima
    • 雑誌名

      Frontiers in Neuroscience

      巻: 12 ページ: 1-7

    • DOI

      10.3389/fnins.2018.00478

    • 査読あり / オープンアクセス
  • [雑誌論文] MEG-BMI to Control Phantom Limb Pain2018

    • 著者名/発表者名
      Takufumi Yanagisawa, Ryohei Fukuma, Ben Seymour, Koichi Hosomi, Haruhiko Kishima, Shimizu Takeshi, Yokoi Hiroshi, Hirata Masayuki, Yoshimine Toshiki, Kamitani Yukiyasu, Youichi Saitoh
    • 雑誌名

      Neurologia medico-chirurgica

      巻: 58 ページ: 327-333

    • DOI

      https://doi.org/10.2176/nmc.st.2018-0099

    • 査読あり / オープンアクセス
  • [雑誌論文] Sharpening of Hierarchical Visual Feature Representations of Blurred Images2018

    • 著者名/発表者名
      Mohamed Abdelhack, Yukiyasu Kamitani
    • 雑誌名

      eNeuro

      巻: 5 ページ: 1-39

    • DOI

      10.1523/ENEURO.0443-17.2018

    • 査読あり / オープンアクセス
  • [雑誌論文] Sparse Ordinal Logistic Regression and Its Application to Brain Decoding2018

    • 著者名/発表者名
      Emi Satake, Kei Majima, Shuntaro C. Aoki, Yukiyasu Kamitani
    • 雑誌名

      Frontiers in Neuroinformatics

      巻: 12 ページ: 1-10

    • DOI

      10.3389/fninf.2018.00051

    • 査読あり / オープンアクセス
  • [雑誌論文] Quantitative Understanding of How the Brain sees the World : Present Status and Future Outlook2018

    • 著者名/発表者名
      Shinji Nishimoto, Ryohei Fukuma, Takufumi Yanagisawa, Haruhiko Kishima
    • 雑誌名

      Japanese Journal of Neurosurgery

      巻: 27 ページ: 896-903

    • DOI

      doi.org/10.7887/jcns.27.896

    • 査読あり / オープンアクセス
  • [雑誌論文] 皮質可塑性の制御による幻肢痛の病態解明と治療2018

    • 著者名/発表者名
      栁澤琢史、福間良平、Ben Seymour、細見晃一、清水豪士、貴島晴彦、平田雅之、横井浩史、吉峰俊樹、神谷之康、齋藤洋一
    • 雑誌名

      Pain Research

      巻: 33 ページ: 26-31

    • DOI

      10.11154/pain.33.26

    • 査読あり / オープンアクセス
  • [雑誌論文] Decoding Visual Stimulus in Semantic Space from Electrocorticography Signals2018

    • 著者名/発表者名
      Ryohei Fukuma, Takufumi Yanagisawa, Shinji Nishimoto, Masataka Tanaka, Shota Yamamoto, Satoru Oshino,Yukiyasu Kamitani, Haruhiko Kishima
    • 雑誌名

      2018 IEEE International Conference on Systems, Man, and Cybernetics

      巻: 27 ページ: 102-104

    • DOI

      10.1109/SMC.2018.00027

    • 査読あり / オープンアクセス
  • [雑誌論文] Encoding and Decoding of Music-Genre Representations in the Human Brain2018

    • 著者名/発表者名
      Tomoya Nakai, Naoko Koide-Majima, Shinji Nishimoto
    • 雑誌名

      2018 IEEE International Conference on Systems, Man, and Cybernetics

      巻: 108 ページ: 584-589

    • DOI

      10.1109/SMC.2018.00108

    • 査読あり / オープンアクセス
  • [学会発表] 皮質脳波による視覚再構成BMI2018

    • 著者名/発表者名
      栁澤琢史
    • 学会等名
      感覚器研究 イニシアチブ・シンポジウム
    • 招待講演
  • [学会発表] A brain-mediated computational model to estimate perceptual experiences evoked by arbitrary naturalistic visual scenes2018

    • 著者名/発表者名
      Satoshi Nishida, Shinji Nishimoto
    • 学会等名
      Vision Science Society 2018
    • 国際学会
  • [学会発表] Deep image reconstruction from the human brain2018

    • 著者名/発表者名
      Yukiyasu Kamitani
    • 学会等名
      2018 Annual Meeting of Korean Society for Cognitive Science
    • 国際学会 / 招待講演
  • [学会発表] Brain decoding of auditory-induced cortical activity with deep neural network features2018

    • 著者名/発表者名
      Jongyun Park, Tomoyasu Horikawa, Kei Majima, Yukiyasu Kamitani
    • 学会等名
      2018 Annual Meeting of Korean Society for Cognitive Science
    • 国際学会
  • [学会発表] 脳活動と分散表現による意味表象へのスパースコーディング適用により獲得された辞書基底の分析2018

    • 著者名/発表者名
      川瀬 千晶、小林 一郎、西本 伸志、西田 知史、麻生 英樹
    • 学会等名
      第32回人工知能学会全国大会
  • [学会発表] 脳表象モデルを用いた任意の視覚入力に対する知覚内容推定システム2018

    • 著者名/発表者名
      西田 知史、西本 伸志
    • 学会等名
      第32回人工知能学会全国大会
  • [学会発表] 幻肢痛患者の主観的な幻肢運動の皮質表現2018

    • 著者名/発表者名
      福間良平 、柳澤琢史 、田中將貴 、Ben Seymour、細見晃一 、貴島晴彦 、吉峰俊樹 、神谷之康 、齋藤洋一
    • 学会等名
      第40回日本疼痛学会
  • [学会発表] 符号化モデルを用いた音楽ジャンルの脳内情報表現の可視化2018

    • 著者名/発表者名
      中井 智也、小出(間島) 真子、西本 伸志
    • 学会等名
      第119回 音楽情報科学研究会・第122回 音声言語情報処理研究会 共催研究会
  • [学会発表] Modeling internal representations in the brain2018

    • 著者名/発表者名
      Shinji Nishimoto
    • 学会等名
      8th IMPRS NeuroCom Summer School
    • 国際学会 / 招待講演
  • [学会発表] Processing of color in areas V1 and V4 of the monkey: Encoding-model analysis of neural responses to natural movies recorded with 2-photon calcium imaging techniques2018

    • 著者名/発表者名
      Gaku Hatanaka, Koji Ikezoe, Ryosuke F Takeuchi, Mikio Inagaki, Shinji Nishimoto, Ichiro Fujita
    • 学会等名
      The 14th Asia-Pacific Conference on Vision and the 3rd China Vision Science Conference
    • 国際学会
  • [学会発表] Decoding of depth information from human brain activity2018

    • 著者名/発表者名
      Akira Murakami, Kshitij Dwivedi, Yukiyasu Kamitani
    • 学会等名
      第41回日本神経科学大会
    • 国際学会
  • [学会発表] Sparse ordinal logistic regression and its application to brain decoding2018

    • 著者名/発表者名
      Emi Satake, Kei Majima, Shuntaro C. Aoki, Yukiyasu Kamitani
    • 学会等名
      第41回日本神経科学大会
    • 国際学会
  • [学会発表] 深層ニューラルネットワークを介した心的イメージの解読2018

    • 著者名/発表者名
      堀川友慈
    • 学会等名
      第29回生理科学実験技術トレーニングコース
    • 招待講演
  • [学会発表] Modeling human visual responses with a U-shaped deep neural network for motion flow-field estimation2018

    • 著者名/発表者名
      Atsushi Wada, Satoshi Nishida, Hiroshi Ando, Shinji Nishimoto
    • 学会等名
      2018 Conference on Cognitive Computational Neuroscience
    • 国際学会
  • [学会発表] Brain-Computer Interfaceの臨床応用と大脳皮質機能の解明2018

    • 著者名/発表者名
      栁澤琢史
    • 学会等名
      大脳皮質回路の機能原理を探る、生理学研究所
    • 招待講演
  • [学会発表] 深層ニューラルネットワークと脳の相同性とその応用2018

    • 著者名/発表者名
      神谷之康
    • 学会等名
      第2回ヒト脳イメージング研究会
    • 招待講演
  • [学会発表] A modality-independent semantic map revealed by a novel cross-modal encoding modeling analysis2018

    • 著者名/発表者名
      Hiroto Q. Yamaguchi, Tomoya Nakai, Shinji Nishimoto
    • 学会等名
      第2回ヒト脳イメージング研究会
  • [学会発表] Decoding of novel music-genres based on the spectro-temporal modulation property in the superior temporal gyrus2018

    • 著者名/発表者名
      Tomoya Nakai, Naoko Koide-Majima, Shinji Nishimoto
    • 学会等名
      第2回ヒト脳イメージング研究会
  • [学会発表] Brain-Computer Interfaceの臨床応用2018

    • 著者名/発表者名
      栁澤琢史
    • 学会等名
      第41回IEEE EPS
    • 国際学会 / 招待講演
  • [学会発表] Decoding visual stimulus in semantic space from electrocorticography signals2018

    • 著者名/発表者名
      Ryohei Fukuma, Takufumi Yanagisawa, Shinji Nishimoto, Masataka Tanaka, Shota Yamamoto, Satoru Oshino, Yukiyasu KamitaniI, Haruhiko Kishima
    • 学会等名
      IEEE International Conference on Systems, Man, and Cybernetics(SMC2018)
    • 国際学会
  • [学会発表] Brain-DNN homology and its applications2018

    • 著者名/発表者名
      Yukiyasu Kamitani
    • 学会等名
      第28回日本神経回路学会全国大会(JNNS2018)
    • 国際学会 / 招待講演
  • [学会発表] Decode of visual stimulus in semantic space based on electrocorticography signals2018

    • 著者名/発表者名
      Ryohei Fukuma, Takufumi Yanagisawa, Shinji Nishimoto, Masataka Tanaka, Shota Yamamoto, Satoru Oshino, Yukiyasu KamitaniI, Haruhiko Kishima
    • 学会等名
      第28回日本神経回路学会全国大会(JNNS2018)
    • 国際学会
  • [学会発表] Decoding of seen and imagined contents from the human brain via deep neural network representation2018

    • 著者名/発表者名
      Tomoyasu Horikawa
    • 学会等名
      第28回日本神経回路学会全国大会(JNNS2018)
    • 国際学会 / 招待講演
  • [学会発表] Decoding natural scenes in semantic space from electrocorticography signals2018

    • 著者名/発表者名
      Ryohei Fukuma, Takufumi Yanagisawa, Shinji Nishimoto, Masataka Tanaka, Shota Yamamoto, Satoru Oshino, Yukiyasu KamitaniI, Haruhiko Kishima
    • 学会等名
      Society for Neuroscience 48th Annual Meeting(Neuroscience2018)
    • 国際学会
  • [学会発表] BMI技術を応用した脳磁図・皮質脳波からの脳機能マッピング2018

    • 著者名/発表者名
      栁澤琢史、福間良平、西本伸志、中村優一郎、押野悟、神谷之康、貴島晴彦
    • 学会等名
      第48回臨床神経生理学会
    • 招待講演
  • [学会発表] 脳波ビッグデータとAIの臨床応用2018

    • 著者名/発表者名
      栁澤琢史
    • 学会等名
      コンピュータ外科学会
    • 招待講演
  • [学会発表] A moment of conscious experience is very informative2018

    • 著者名/発表者名
      Jasmine Walter, Alon Loeffler, Zhao Hui Koh, Shinji Nishimoto, Jeroen van Boxtel, Naostugu Tsuchiya
    • 学会等名
      The 8th Annual Meeting of the Australasian Cognitive Neuroscience Society
    • 国際学会
  • [学会発表] fMRI evidence for the disorganization of semantic representation in the schizophrenia brain2018

    • 著者名/発表者名
      Satoshi Nishida, Yukiko Matsumoto, N Yoshikawa, S Son, Akio Murakam, R Hayashi, Hidehiko Takahashi, Shinji Nishimoto
    • 学会等名
      脳と心のメカニズム2019冬のワークショップ
    • 国際学会
  • [学会発表] 皮質脳波ビッグデータによるNeural DecodingとBrain-Computer Interface2018

    • 著者名/発表者名
      柳澤琢史 、福間良平 、西本伸志、中村優一郎、押野悟、神谷之康、貴島晴彦
    • 学会等名
      第58回日本定位・機能神経外科学会
  • [学会発表] Top-down modulation in human visual cortex revealed by brain decoding with deep neural network representation2018

    • 著者名/発表者名
      Mohamed Abdelhack, Yukiyasu Kamitani
    • 学会等名
      The 5th CiNet Conference
    • 国際学会
  • [学会発表] Deep image reconstruction from the human brain2018

    • 著者名/発表者名
      Yukiyasu Kamitani
    • 学会等名
      The 5th CiNet Conference
    • 国際学会 / 招待講演
  • [学会発表] Representation and computation in brains and machines2018

    • 著者名/発表者名
      Shinji Nishimoto
    • 学会等名
      The 5th CiNet Conference
    • 招待講演
  • [学会発表] Semantic decoding of visual stimulus using electrocorticogram and application for BCI2018

    • 著者名/発表者名
      Takufumi Yanagisawa
    • 学会等名
      The 5th CiNet Conference
  • [学会発表] AI診断の限界と可能性2018

    • 著者名/発表者名
      栁澤琢史
    • 学会等名
      第42回日本脳神経CI学会総会
    • 招待講演
  • [学会発表] 脳情報表現の定量とブレイン・マシン・インターフェース2018

    • 著者名/発表者名
      西本伸志
    • 学会等名
      第21回日本ヒト脳機能マッピング学会
    • 招待講演
  • [産業財産権] 想起画像推定装置、想起画像推定方法、制御プログラム、記録媒体2018

    • 発明者名
      柳澤 琢史、福間 良平、貴島 晴彦、西本 伸志
    • 権利者名
      柳澤 琢史、福間 良平、貴島 晴彦、西本 伸志
    • 産業財産権種類
      特許
    • 産業財産権番号
      2018-107185

URL: 

公開日: 2019-12-27  

サービス概要 検索マニュアル よくある質問 お知らせ 利用規程 科研費による研究の帰属

Powered by NII kakenhi