• 研究課題をさがす
  • 研究者をさがす
  • KAKENの使い方
  1. 前のページに戻る

視覚・言語統合型人工知能システムに基づく脳情報インタフェース技術の開発

研究課題

研究課題/領域番号 16K13117
研究種目

挑戦的萌芽研究

配分区分基金
研究分野 脳計測科学
研究機関国立研究開発法人産業技術総合研究所

研究代表者

林 隆介  国立研究開発法人産業技術総合研究所, 情報・人間工学領域, 主任研究員 (80444470)

研究期間 (年度) 2016-04-01 – 2019-03-31
研究課題ステータス 完了 (2018年度)
配分額 *注記
3,640千円 (直接経費: 2,800千円、間接経費: 840千円)
2018年度: 1,170千円 (直接経費: 900千円、間接経費: 270千円)
2017年度: 1,170千円 (直接経費: 900千円、間接経費: 270千円)
2016年度: 1,300千円 (直接経費: 1,000千円、間接経費: 300千円)
キーワード神経科学 / ブレイン・マシン・インタフェース / 深層ニューラルネットワーク / 視覚情報処理 / 深層ニューラルネット / 人工知能 / ブレインマシンインターフェイス
研究成果の概要

本研究計画の目的は、実験動物の大脳皮質・視覚野から神経細胞の活動を記録し、画像認識ならびに言語処理を統合した深層ニューラルネットを利用することにより、神経信号から視覚体験の内容ならびに言語的意味表象を出力するインタフェース技術を開発することであった。研究成果として、画像処理ならびに言語処理を融合した深層ニューラルネットを開発し、その情報表現と生体の脳内情報表現の比較手法を確立し、神経情報を解読するインタフェースの基盤技術を開発した。

研究成果の学術的意義や社会的意義

脳情報から視覚体験を精度高く復号化する手法を開発した。また、その意味的内容を言語ラベルで出力する深層ニューラルネットを開発した。本研究により、脳内の視覚情報処理における情報表現の理解が深まった。引き続き研究を進めていくことで、さらに抽象度の高い内容レベルで神経情報を復号化する技術が確立されれば、障害者の意思伝達支援ツールとして、健康/福祉産業に貢献できる可能性がある。

報告書

(5件)
  • 2018 実績報告書   研究成果報告書 ( PDF )
  • 2017 実施状況報告書
  • 2016 実施状況報告書
  • 研究成果発表報告書
  • 研究成果

    (27件)

すべて 2021 2019 2018 2017 2016 その他

すべて 雑誌論文 (4件) (うち査読あり 4件、 オープンアクセス 4件) 学会発表 (17件) (うち国際学会 4件、 招待講演 5件) 備考 (2件) 産業財産権 (4件) (うち外国 1件)

  • [雑誌論文] Distinct mechanisms of temporal binding in generalized and cross-modal flash-lag effects2019

    • 著者名/発表者名
      Hayashi Ryusuke、Murakami Ikuya
    • 雑誌名

      Scientific Reports

      巻: 9 号: 1 ページ: 3829-3829

    • DOI

      10.1038/s41598-019-40370-7

    • 関連する報告書
      2018 実績報告書
    • 査読あり / オープンアクセス
  • [雑誌論文] Perturbation Tolerance of Deep Neural Networks and Humans in Material Recognition2018

    • 著者名/発表者名
      X. Liu, M. Sawayama, R. Hayashi, M. Ozay, T. Okatani and S. Nishida
    • 雑誌名

      Journal of Vision

      巻: 18 ページ: 756-756

    • 関連する報告書
      2018 実績報告書
    • 査読あり / オープンアクセス
  • [雑誌論文] Image reconstruction from neural activity recorded from monkey inferior temporal cortex using generative adversarial networks2018

    • 著者名/発表者名
      R. Hayashi, H. Kawata
    • 雑誌名

      2018 IEEE International Conference on Systems, Man, and Cybernetics (SMC)

      巻: - ページ: 105-109

    • DOI

      10.1109/smc.2018.00028

    • 関連する報告書
      2018 実績報告書
    • 査読あり / オープンアクセス
  • [雑誌論文] A new analytical method for characterizing non-linear visual processes with stimuli of arbitrary distribution: theory and applications2017

    • 著者名/発表者名
      Hayashi R, Watanabe 0, Yokoyama H, Nishida S
    • 雑誌名

      Journal of Vision

      巻: 17 号: 6 ページ: 1-20

    • DOI

      10.1167/17.6.14

    • 関連する報告書
      2017 実施状況報告書 2016 実施状況報告書
    • 査読あり / オープンアクセス
  • [学会発表] fMRI evidence for the disorganization of semantic representation in the schizophrenia brain2019

    • 著者名/発表者名
      Satoshi Nishida, Yukiko Matsumoto, Naganobu Yoshikawa, Shuraku Son, Akio Murakami, Ryusuke Hayashi, Hidehiko Takahashi, Shinji Nishimoto
    • 学会等名
      Mechanisim of Brain and Mind the 19th winter workshop, Rusutu
    • 関連する報告書
      2018 実績報告書
  • [学会発表] Image reconstruction from neural activity recorded from monkey inferior temporal cortex using generative adversarial networks2018

    • 著者名/発表者名
      R. Hayashi, H. Kawata
    • 学会等名
      Proceedings of IEEE SMC
    • 関連する報告書
      2018 実績報告書
    • 国際学会
  • [学会発表] Perturbation Tolerance of Deep Neural Networks and Humans in Material Recognition2018

    • 著者名/発表者名
      X. Liu, M. Sawayama, R. Hayashi, M. Ozay, T. Okatani and S. Nishida
    • 学会等名
      Annual Meeting of the Vision Sciences Society (VSS)
    • 関連する報告書
      2018 実績報告書
    • 国際学会
  • [学会発表] GANを用いたサルIT皮質ニューロン活動のデコーディング2018

    • 著者名/発表者名
      林 隆介, 河田 隼季
    • 学会等名
      SICEライフエンジニアリング部門シンポジウム(第33回生体・生理工学シンポジウム)
    • 関連する報告書
      2018 実績報告書
  • [学会発表] 画像生成ニューラルネットワークによるサル下側頭葉の神経情報の復号化2018

    • 著者名/発表者名
      河田 隼季,林 隆介
    • 学会等名
      日本視覚学会2018年夏季大会
    • 関連する報告書
      2018 実績報告書
  • [学会発表] サルITニューロンのスパイク活動記録に基づく視覚体験可視化技術の現状2018

    • 著者名/発表者名
      林 隆介
    • 学会等名
      第5回脳神経外科BMI研究会
    • 関連する報告書
      2018 実績報告書
    • 招待講演
  • [学会発表] 方位弁別と顔弁別における情報統合の時間差-タスク難易度の影響の検討2018

    • 著者名/発表者名
      林 隆介, 村上 郁也
    • 学会等名
      日本視覚学会2018年冬季大会
    • 関連する報告書
      2017 実施状況報告書
  • [学会発表] 両眼情報処理と視野闘争2018

    • 著者名/発表者名
      林 隆介
    • 学会等名
      第3回視覚生理学基礎セミナー
    • 関連する報告書
      2017 実施状況報告書
    • 招待講演
  • [学会発表] Latency-variable time integration mechanisms underlie generalized flash-lag effect2017

    • 著者名/発表者名
      R. Hayashi
    • 学会等名
      VSS2017 (The annual meeting of Vision Sciences Society)
    • 関連する報告書
      2017 実施状況報告書
    • 国際学会
  • [学会発表] 画像認識用深層ニューラルネットワークによる「不気味の谷」の再現:知覚的不協和仮説の傍証2017

    • 著者名/発表者名
      林 隆介
    • 学会等名
      第40回 日本神経科学大会
    • 関連する報告書
      2017 実施状況報告書
  • [学会発表] 双方向型深層ニューラルネットを利用したBMIと概念表象の個人差について2017

    • 著者名/発表者名
      林 隆介
    • 学会等名
      第2回脳情報の解読と制御研究会、第4回自発脳活動研究会
    • 関連する報告書
      2017 実施状況報告書
  • [学会発表] モダリティによる時間バインディング様式の違い2017

    • 著者名/発表者名
      林 隆介
    • 学会等名
      日本視覚学会2017年冬季大会
    • 発表場所
      NHK技術研究所, 東京
    • 関連する報告書
      2016 実施状況報告書
  • [学会発表] 深層ニューラルネットにおける「不気味の谷」の表現2017

    • 著者名/発表者名
      篠塚 千愛, 林 隆介
    • 学会等名
      日本視覚学会2017年冬季大会
    • 発表場所
      NHK技術研究所, 東京
    • 関連する報告書
      2016 実施状況報告書
  • [学会発表] 深層学習を用いた高次視覚機能の理解にむけて2017

    • 著者名/発表者名
      林 隆介
    • 学会等名
      日本視覚学会2017年冬季大会
    • 発表場所
      NHK技術研究所, 東京
    • 関連する報告書
      2016 実施状況報告書
    • 招待講演
  • [学会発表] A new analytical method for characterizing nonlinear visual processes2016

    • 著者名/発表者名
      R. Hayashi, H. Yokoyama, O. Watanabe, S. Nishida
    • 学会等名
      The 39th European Conference on Visual Perception
    • 発表場所
      Barcelona, Spain
    • 関連する報告書
      2016 実施状況報告書
    • 国際学会
  • [学会発表] ディープニューラルネットと脳:視覚認知処理のさらなる理解に向けて2016

    • 著者名/発表者名
      林 隆介
    • 学会等名
      日本認知科学会2016年度冬のシンポジウム
    • 発表場所
      明治大学、東京
    • 関連する報告書
      2016 実施状況報告書
    • 招待講演
  • [学会発表] ディープニューラルネットを介した視覚神経情報処理の理解とブレイン・マシン・インタフェースへの応用2016

    • 著者名/発表者名
      林 隆介
    • 学会等名
      第3回 東北大学 ブレインウエア工学研究会
    • 発表場所
      東北大学, 仙台
    • 関連する報告書
      2016 実施状況報告書
    • 招待講演
  • [備考] 産業技術総合研究所 人間情報研究部門 ニューロリハビリテーション研究グループ

    • URL

      https://unit.aist.go.jp/hiri/nrrg/

    • 関連する報告書
      2018 実績報告書
  • [備考] 国立研究開発法人産業技術総合研究所 人間情報研究部門 システム脳科学研究グループホームページ

    • URL

      https://unit.aist.go.jp/hiri/hi-sys-neuro/

    • 関連する報告書
      2017 実施状況報告書 2016 実施状況報告書
  • [産業財産権] 画像生成装置と画像生成方法2021

    • 発明者名
      林 隆介
    • 権利者名
      産業技術総合研究所
    • 産業財産権種類
      特許
    • 産業財産権番号
      2017-107945
    • 取得年月日
      2021
    • 関連する報告書
      研究成果発表報告書
  • [産業財産権] 単語概念可視化装置と単語概念可視化方法2021

    • 発明者名
      林 隆介
    • 権利者名
      産業技術総合研究所
    • 産業財産権種類
      特許
    • 産業財産権番号
      2017-127777
    • 取得年月日
      2021
    • 関連する報告書
      研究成果発表報告書
    • 外国
  • [産業財産権] 画像生成装置と画像生成方法2017

    • 発明者名
      林 隆介
    • 権利者名
      林 隆介
    • 産業財産権種類
      特許
    • 出願年月日
      2017
    • 関連する報告書
      2017 実施状況報告書
  • [産業財産権] 単語概念可視化装置と単語概念可視化方法2017

    • 発明者名
      林 隆介
    • 権利者名
      林 隆介
    • 産業財産権種類
      特許
    • 出願年月日
      2017
    • 関連する報告書
      2017 実施状況報告書

URL: 

公開日: 2016-04-21   更新日: 2023-03-30  

サービス概要 検索マニュアル よくある質問 お知らせ 利用規程 科研費による研究の帰属

Powered by NII kakenhi