Brain machine interface based on artificial intelligence integrating visual and semantic processing

• Project/Area Number: 16K13117
• Research Category: Grant-in-Aid for Challenging Exploratory Research
• Allocation Type: Multi-year Fund
• Research Field: Brain biometrics
• Research Institution: National Institute of Advanced Industrial Science and Technology
• Principal Investigator: Hayashi Ryusuke 国立研究開発法人産業技術総合研究所, 情報・人間工学領域, 主任研究員 (80444470)
• Project Period (FY): 2016-04-01 – 2019-03-31
• Project Status: Completed (Fiscal Year 2018)
• Budget Amount: ¥3,640,000 (Direct Cost: ¥2,800,000、Indirect Cost: ¥840,000); Fiscal Year 2018: ¥1,170,000 (Direct Cost: ¥900,000、Indirect Cost: ¥270,000); Fiscal Year 2017: ¥1,170,000 (Direct Cost: ¥900,000、Indirect Cost: ¥270,000); Fiscal Year 2016: ¥1,300,000 (Direct Cost: ¥1,000,000、Indirect Cost: ¥300,000)
• Keywords: 神経科学 / ブレイン・マシン・インタフェース / 深層ニューラルネットワーク / 視覚情報処理 / 深層ニューラルネット / 人工知能 / ブレインマシンインターフェイス

Outline of Final Research Achievements

The goal of this research project was to develop a brain machine interface technology that can decode neural information and output the decoded contents in the form of image and natural language or words. We have recorded neural activities from animals and developed a deep neural network that achieves the research goal of this project.

Academic Significance and Societal Importance of the Research Achievements

脳情報から視覚体験を精度高く復号化する手法を開発した。また、その意味的内容を言語ラベルで出力する深層ニューラルネットを開発した。本研究により、脳内の視覚情報処理における情報表現の理解が深まった。引き続き研究を進めていくことで、さらに抽象度の高い内容レベルで神経情報を復号化する技術が確立されれば、障害者の意思伝達支援ツールとして、健康／福祉産業に貢献できる可能性がある。

Research Products

• [Journal Article] Distinct mechanisms of temporal binding in generalized and cross-modal flash-lag effects (2019)
  • Author(s): Hayashi Ryusuke、Murakami Ikuya
  • Journal Title: Scientific Reports Volume: 9 Issue: 1 Pages: 3829-3829
  • DOI: 10.1038/s41598-019-40370-7
  • Peer Reviewed / Open Access
• [Journal Article] Perturbation Tolerance of Deep Neural Networks and Humans in Material Recognition (2018)
  • Author(s): X. Liu, M. Sawayama, R. Hayashi, M. Ozay, T. Okatani and S. Nishida
  • Journal Title: Journal of Vision Volume: 18 Pages: 756-756
  • Peer Reviewed / Open Access
• [Journal Article] Image reconstruction from neural activity recorded from monkey inferior temporal cortex using generative adversarial networks (2018)
  • Author(s): R. Hayashi, H. Kawata
  • Journal Title: 2018 IEEE International Conference on Systems, Man, and Cybernetics (SMC) Volume: - Pages: 105-109
  • DOI: 10.1109/smc.2018.00028
  • Peer Reviewed / Open Access
• [Journal Article] A new analytical method for characterizing non-linear visual processes with stimuli of arbitrary distribution: theory and applications (2017)
  • Author(s): Hayashi R, Watanabe 0, Yokoyama H, Nishida S
  • Journal Title: Journal of Vision Volume: 17 Issue: 6 Pages: 1-20
  • DOI: 10.1167/17.6.14
  • Peer Reviewed / Open Access
• [Presentation] fMRI evidence for the disorganization of semantic representation in the schizophrenia brain (2019)
  • Author(s): Satoshi Nishida, Yukiko Matsumoto, Naganobu Yoshikawa, Shuraku Son, Akio Murakami, Ryusuke Hayashi, Hidehiko Takahashi, Shinji Nishimoto
  • Organizer: Mechanisim of Brain and Mind the 19th winter workshop, Rusutu
• [Presentation] Image reconstruction from neural activity recorded from monkey inferior temporal cortex using generative adversarial networks (2018)
  • Author(s): R. Hayashi, H. Kawata
  • Organizer: Proceedings of IEEE SMC
  • Int'l Joint Research
• [Presentation] Perturbation Tolerance of Deep Neural Networks and Humans in Material Recognition (2018)
  • Author(s): X. Liu, M. Sawayama, R. Hayashi, M. Ozay, T. Okatani and S. Nishida
  • Organizer: Annual Meeting of the Vision Sciences Society (VSS)
  • Int'l Joint Research
• [Presentation] GANを用いたサルIT皮質ニューロン活動のデコーディング (2018)
  • Author(s): 林 隆介, 河田 隼季
  • Organizer: SICEライフエンジニアリング部門シンポジウム（第33回生体・生理工学シンポジウム）
• [Presentation] 画像生成ニューラルネットワークによるサル下側頭葉の神経情報の復号化 (2018)
  • Author(s): 河田 隼季，林 隆介
  • Organizer: 日本視覚学会2018年夏季大会
• [Presentation] サルITニューロンのスパイク活動記録に基づく視覚体験可視化技術の現状 (2018)
  • Author(s): 林 隆介
  • Organizer: 第５回脳神経外科BMI研究会
  • Invited
• [Presentation] 方位弁別と顔弁別における情報統合の時間差-タスク難易度の影響の検討 (2018)
  • Author(s): 林 隆介, 村上 郁也
  • Organizer: 日本視覚学会2018年冬季大会
• [Presentation] 両眼情報処理と視野闘争 (2018)
  • Author(s): 林 隆介
  • Organizer: 第3回視覚生理学基礎セミナー
  • Invited
• [Presentation] Latency-variable time integration mechanisms underlie generalized flash-lag effect (2017)
  • Author(s): R. Hayashi
  • Organizer: VSS2017 (The annual meeting of Vision Sciences Society)
  • Int'l Joint Research
• [Presentation] 画像認識用深層ニューラルネットワークによる「不気味の谷」の再現：知覚的不協和仮説の傍証 (2017)
  • Author(s): 林 隆介
  • Organizer: 第40回 日本神経科学大会
• [Presentation] 双方向型深層ニューラルネットを利用したBMIと概念表象の個人差について (2017)
  • Author(s): 林 隆介
  • Organizer: 第2回脳情報の解読と制御研究会、第4回自発脳活動研究会
• [Presentation] モダリティによる時間バインディング様式の違い (2017)
  • Author(s): 林 隆介
  • Organizer: 日本視覚学会2017年冬季大会
  • Place of Presentation: NHK技術研究所, 東京
• [Presentation] 深層ニューラルネットにおける「不気味の谷」の表現 (2017)
  • Author(s): 篠塚 千愛, 林 隆介
  • Organizer: 日本視覚学会2017年冬季大会
  • Place of Presentation: NHK技術研究所, 東京
• [Presentation] 深層学習を用いた高次視覚機能の理解にむけて (2017)
  • Author(s): 林 隆介
  • Organizer: 日本視覚学会2017年冬季大会
  • Place of Presentation: NHK技術研究所, 東京
  • Invited
• [Presentation] A new analytical method for characterizing nonlinear visual processes (2016)
  • Author(s): R. Hayashi, H. Yokoyama, O. Watanabe, S. Nishida
  • Organizer: The 39th European Conference on Visual Perception
  • Place of Presentation: Barcelona, Spain
  • Int'l Joint Research
• [Presentation] ディープニューラルネットと脳：視覚認知処理のさらなる理解に向けて (2016)
  • Author(s): 林 隆介
  • Organizer: 日本認知科学会2016年度冬のシンポジウム
  • Place of Presentation: 明治大学、東京
  • Invited
• [Presentation] ディープニューラルネットを介した視覚神経情報処理の理解とブレイン・マシン・インタフェースへの応用 (2016)
  • Author(s): 林 隆介
  • Organizer: 第3回 東北大学 ブレインウエア工学研究会
  • Place of Presentation: 東北大学, 仙台
  • Invited
• [Remarks] 産業技術総合研究所 人間情報研究部門 ニューロリハビリテーション研究グループ
  • URL: https://unit.aist.go.jp/hiri/nrrg/
• [Remarks] 国立研究開発法人産業技術総合研究所 人間情報研究部門 システム脳科学研究グループホームページ
  • URL: https://unit.aist.go.jp/hiri/hi-sys-neuro/
• [Patent(Industrial Property Rights)] 画像生成装置と画像生成方法 (2021)
  • Inventor(s): 林 隆介
  • Industrial Property Rights Holder: 産業技術総合研究所
  • Industrial Property Rights Type: 特許
  • Industrial Property Number: 2017-107945
  • Acquisition Date: 2021
• [Patent(Industrial Property Rights)] 単語概念可視化装置と単語概念可視化方法 (2021)
  • Inventor(s): 林 隆介
  • Industrial Property Rights Holder: 産業技術総合研究所
  • Industrial Property Rights Type: 特許
  • Industrial Property Number: 2017-127777
  • Acquisition Date: 2021
  • Overseas
• [Patent(Industrial Property Rights)] 画像生成装置と画像生成方法 (2017)
  • Inventor(s): 林 隆介
  • Industrial Property Rights Holder: 林 隆介
  • Industrial Property Rights Type: 特許
  • Filing Date: 2017
• [Patent(Industrial Property Rights)] 単語概念可視化装置と単語概念可視化方法 (2017)
  • Inventor(s): 林 隆介
  • Industrial Property Rights Holder: 林 隆介
  • Industrial Property Rights Type: 特許
  • Filing Date: 2017