• 研究課題をさがす
  • 研究者をさがす
  • KAKENの使い方
  1. 前のページに戻る

Study on the hierarchy of cross-modal processing using functional MRI and Deep Learning

研究課題

研究課題/領域番号 19K20390
研究種目

若手研究

配分区分基金
審査区分 小区分61060:感性情報学関連
研究機関生理学研究所

研究代表者

Pham Quang・Trung  生理学研究所, システム脳科学研究領域, 特任研究員 (60837722)

研究期間 (年度) 2019-04-01 – 2022-03-31
研究課題ステータス 完了 (2021年度)
配分額 *注記
4,160千円 (直接経費: 3,200千円、間接経費: 960千円)
2021年度: 520千円 (直接経費: 400千円、間接経費: 120千円)
2020年度: 1,950千円 (直接経費: 1,500千円、間接経費: 450千円)
2019年度: 1,690千円 (直接経費: 1,300千円、間接経費: 390千円)
キーワードcognitive science / somatosensory / haptics / perception / Cognitive Science / Somatosensory / Perception / Cognitive science / Haptics / Cross-modal / functional MRI / Deep Learning / Vision
研究開始時の研究の概要

It remains unknown how the brain construct visual imagery from haptic object signal. The purpose of this research is to seek for a computational model of the brain, by which the haptic information is processed into categorical value, using a deep learning model and functional MRI.

研究成果の概要

本研究では私は触覚で収集された情報の断片は視覚処理経路に活かして、物体認識を行ったと言う仮説を検討した。頭頂間溝(IPS)または外側後頭皮質(LOC)で情報が集まり、視覚腹側経路に伝達することである。20人の被験者が視覚・触覚実験に参加したもらった。3x5ドット数字のような刺激を受け、ボタンクリックで答えてもらった。同時に、MRIスキャナーを使って脳活動画像を撮れた。被験者の正答率はチャンスレベルより高ったと分かった。MRI情報解析によりIPSおよびLOCの活動が確認でき、さらに他のワーキングメモリに関する領域の活動も観察できた。IPC及びLOCにおける情報表現も似ていることも観察できた。

研究成果の学術的意義や社会的意義

The results of this study extend our current understanding of the cross-modal processing of haptic and visual information in the brain. In the future, I expected these results to become hint for building a more efficient robotics system that mimics human brain.

報告書

(4件)
  • 2021 実績報告書   研究成果報告書 ( PDF )
  • 2020 実施状況報告書
  • 2019 実施状況報告書
  • 研究成果

    (4件)

すべて 2022 2021

すべて 雑誌論文 (3件) (うち国際共著 3件、 査読あり 3件、 オープンアクセス 3件) 学会発表 (1件) (うち国際学会 1件)

  • [雑誌論文] Counterfactual Explanation of Brain Activity Classifiers Using Image-To-Image Transfer by Generative Adversarial Network2022

    • 著者名/発表者名
      Matsui Teppei、Taki Masato、Pham Trung Quang、Chikazoe Junichi、Jimura Koji
    • 雑誌名

      Frontiers in Neuroinformatics

      巻: 15 ページ: 802938-802938

    • DOI

      10.3389/fninf.2021.802938

    • 関連する報告書
      2021 実績報告書
    • 査読あり / オープンアクセス / 国際共著
  • [雑誌論文] On co-activation pattern analysis and non-stationarity of resting brain activity2022

    • 著者名/発表者名
      Matsui Teppei、Pham Trung Quang、Jimura Koji、Chikazoe Junichi
    • 雑誌名

      NeuroImage

      巻: 249 ページ: 118904-118904

    • DOI

      10.1016/j.neuroimage.2022.118904

    • NAID

      120007188354

    • 関連する報告書
      2021 実績報告書
    • 査読あり / オープンアクセス / 国際共著
  • [雑誌論文] Distillation of Regional Activity Reveals Hidden Content of Neural Information in Visual Processing2021

    • 著者名/発表者名
      Pham Trung Quang、Nishiyama Shota、Sadato Norihiro、Chikazoe Junichi
    • 雑誌名

      Frontiers in Human Neuroscience

      巻: 15 ページ: 1-9

    • DOI

      10.3389/fnhum.2021.777464

    • 関連する報告書
      2021 実績報告書
    • 査読あり / オープンアクセス / 国際共著
  • [学会発表] Hierarchical processing of vision-to-value transformation: A combinatory study of fMRI and deep learning2021

    • 著者名/発表者名
      Pham Quang Trung
    • 学会等名
      The 44th Annual Meeting of the Japan Neuroscience Society & The 1st CJK International Meeting
    • 関連する報告書
      2021 実績報告書
    • 国際学会

URL: 

公開日: 2019-04-18   更新日: 2023-01-30  

サービス概要 検索マニュアル よくある質問 お知らせ 利用規程 科研費による研究の帰属

Powered by NII kakenhi