• 研究課題をさがす
  • 研究者をさがす
  • KAKENの使い方
  1. 課題ページに戻る

2017 年度 実施状況報告書

視覚・言語統合型人工知能システムに基づく脳情報インタフェース技術の開発

研究課題

研究課題/領域番号 16K13117
研究機関国立研究開発法人産業技術総合研究所

研究代表者

林 隆介  国立研究開発法人産業技術総合研究所, 情報・人間工学領域, 主任研究員 (80444470)

研究期間 (年度) 2016-04-01 – 2019-03-31
キーワード神経科学 / ブレイン・マシン・インタフェース / 深層ニューラルネット / 視覚情報処理
研究実績の概要

本研究の目的は、最新の人工知能システムに生体の脳情報を接続し、神経信号から高度な視覚情報の復号化を行い、電子・情報・通信機器を介して対人コミュニケーションに利用する、ブレイン・マシン・インタフェース(BMI)技術を開発することにある。研究計画では、実験動物の大脳皮質・視覚野から神経細胞の活動を記録し、画像認識と文章生成処理を統合した深層ニューラルネットに接続することによって、神経信号から視覚体験の内容を、テキスト化して出力するインタフェース技術の開発を目指している。研究2年目にあたるH29年度は、行動訓練を行った実験動物の脳にマイクロ電極アレイを埋め込み、神経活動計測を行った。また、脳の視覚野における情報処理を模倣した双方向型深層ニューラルネットワークを構築し、記録した神経データと深層ニューラルネットにおける情報表現との間の対応関係を解析した。年度末までに、神経活動データの計測は順調に進んでおり、多くのデータを蓄積することができた。また、双方向型深層ニューラルネットを利用した神経データの解析にも一定の成果があった。具体的には、画像符号化用ユニットと画像復号化用ユニットからなる双方向型深層ニューラルネットワークを構築した。そして、画像符号化用ユニットの高次層ニューロンの活動パターンと、実際に実験動物から記録した神経活動パターンとの間の写像関係を学習し、写像結果を画像復号化用ユニットに入力することで、神経データから実験動物の見ていた画像を高精度で復元することに成功した。また、視覚・言語統合型深層ニューラルネットワークを用いて人間の視覚認知傾向のシミュレーションを行い、得られた知見に関する学会発表を行った。加えて、神経情報処理の解析に有用な新たなデータの解析手法を考案し、論文発表を行った。

現在までの達成度 (区分)
現在までの達成度 (区分)

2: おおむね順調に進展している

理由

2年目にあたるH29年度は、当初の計画通り、課題訓練を終えた実験動物に電極を埋め込み、神経活動記録を行い、多くの神経データを蓄積することができた。
また、脳の視覚情報処理を模倣した双方向型深層ニューラルネットワークを構築し、神経データと深層ニューラルネットワークの情報表現の対応を明らかにすることに成功した。こうした実装研究の成果として、人間の視覚認知傾向をシミュレートするシステムを構築し、学会発表を行った。加えて、データの解析手法に関して論文発表を行った。

今後の研究の推進方策

引き続き実験動物から神経活動記録を行い、その情報処理の符号化法を検証し、あわせて符号化手法の開発に取り組む。特に、画像認識用の深層ニューラルネットの符号化法に注目し、神経活動の情報表現の領域依存性や時間変化について詳細に検討し、目的とする視覚・言語統合型人工知能システムに基づく脳情報インタフェース技術の開発に取り組む。

次年度使用額が生じた理由

当初の計画ほど本科研費による旅費支出がなかったため、次年度に繰り越しした。

  • 研究成果

    (9件)

すべて 2018 2017 その他

すべて 雑誌論文 (1件) (うち査読あり 1件、 オープンアクセス 1件) 学会発表 (5件) (うち国際学会 1件、 招待講演 1件) 備考 (1件) 産業財産権 (2件)

  • [雑誌論文] A new analytical method for characterizing non-linear visual processes with stimuli of arbitrary distribution: theory and applications2017

    • 著者名/発表者名
      R. Hayashi, O. Watanabe, H. Yokoyama, S. Nishida
    • 雑誌名

      Journal of Vision

      巻: 17 ページ: 1-20

    • DOI

      10.1167/17.6.14

    • 査読あり / オープンアクセス
  • [学会発表] 方位弁別と顔弁別における情報統合の時間差-タスク難易度の影響の検討2018

    • 著者名/発表者名
      林 隆介, 村上 郁也
    • 学会等名
      日本視覚学会2018年冬季大会
  • [学会発表] 両眼情報処理と視野闘争2018

    • 著者名/発表者名
      林 隆介
    • 学会等名
      第3回視覚生理学基礎セミナー
    • 招待講演
  • [学会発表] Latency-variable time integration mechanisms underlie generalized flash-lag effect2017

    • 著者名/発表者名
      R. Hayashi
    • 学会等名
      VSS2017 (The annual meeting of Vision Sciences Society)
    • 国際学会
  • [学会発表] 画像認識用深層ニューラルネットワークによる「不気味の谷」の再現:知覚的不協和仮説の傍証2017

    • 著者名/発表者名
      林 隆介
    • 学会等名
      第40回 日本神経科学大会
  • [学会発表] 双方向型深層ニューラルネットを利用したBMIと概念表象の個人差について2017

    • 著者名/発表者名
      林 隆介
    • 学会等名
      第2回脳情報の解読と制御研究会、第4回自発脳活動研究会
  • [備考] 国立研究開発法人産業技術総合研究所 人間情報研究部門 システム脳科学研究グループホームページ

    • URL

      https://unit.aist.go.jp/hiri/hi-sys-neuro/

  • [産業財産権] 画像生成装置と画像生成方法2017

    • 発明者名
      林 隆介
    • 権利者名
      林 隆介
    • 産業財産権種類
      特許
    • 産業財産権番号
      2017-107945
  • [産業財産権] 単語概念可視化装置と単語概念可視化方法2017

    • 発明者名
      林 隆介
    • 権利者名
      林 隆介
    • 産業財産権種類
      特許
    • 産業財産権番号
      2017-127777

URL: 

公開日: 2021-01-27  

サービス概要 検索マニュアル よくある質問 お知らせ 利用規程 科研費による研究の帰属

Powered by NII kakenhi