• 研究課題をさがす
  • 研究者をさがす
  • KAKENの使い方
  1. 前のページに戻る

深層ニューラルネットを用いた質感的不協和の神経情報表現の解明

公募研究

研究領域多様な質感認識の科学的解明と革新的質感技術の創出
研究課題/領域番号 18H05019
研究種目

新学術領域研究(研究領域提案型)

配分区分補助金
研究機関国立研究開発法人産業技術総合研究所

研究代表者

林 隆介  国立研究開発法人産業技術総合研究所, 情報・人間工学領域, 主任研究員 (80444470)

研究期間 (年度) 2018-04-01 – 2020-03-31
研究課題ステータス 完了 (2019年度)
配分額 *注記
5,200千円 (直接経費: 4,000千円、間接経費: 1,200千円)
2019年度: 2,600千円 (直接経費: 2,000千円、間接経費: 600千円)
2018年度: 2,600千円 (直接経費: 2,000千円、間接経費: 600千円)
キーワード深層学習 / 質感 / 視覚情報処理 / 電気生理 / 神経科学 / 物体認識 / 深層ニューラルネットワーク
研究実績の概要

本研究では、画像上の質感変異にともなう神経活動の変化を、マカクザルの視覚野から網羅的に記録し、ニューラルネットワークを介して語彙概念体系内の表象変化と対応づけることにより、質感をふくめたカテゴリ化プロセスとその不協和の神経メカニズムを解明することを目指す。本年度は、視覚野のモデルとして畳込深層ニューラルネットワークを仮定し、その情報表現と感性表現との関係を視覚―言語データ間の学習によってモデル化した。その結果、モーフィング操作によって作成した曖昧な質感をもつ画像に対し、不気味の谷のような不快な感性表現が現れることを再現した。同様のモーフィング画像に対する神経応答をサル視覚野から記録し、その神経情報表現の時間変化を明らかにした。また、視覚―言語データを用いて、脳内の意味表象を定量的に解析する取り組みも実施した。このほか、サル視覚野の広範囲な領域から脳機能活動をfNIRSによって計測する実験を実施した。

現在までの達成度 (段落)

令和元年度が最終年度であるため、記入しない。

今後の研究の推進方策

令和元年度が最終年度であるため、記入しない。

報告書

(2件)
  • 2019 実績報告書
  • 2018 実績報告書
  • 研究成果

    (13件)

すべて 2019 2018 その他

すべて 雑誌論文 (3件) (うち査読あり 3件、 オープンアクセス 3件) 学会発表 (8件) (うち国際学会 5件、 招待講演 1件) 備考 (2件)

  • [雑誌論文] Distinct mechanisms of temporal binding in generalized and cross-modal flash-lag effects2019

    • 著者名/発表者名
      Hayashi Ryusuke、Murakami Ikuya
    • 雑誌名

      Scientific Reports

      巻: 9 号: 1 ページ: 3829-3829

    • DOI

      10.1038/s41598-019-40370-7

    • 関連する報告書
      2018 実績報告書
    • 査読あり / オープンアクセス
  • [雑誌論文] Perturbation Tolerance of Deep Neural Networks and Humans in Material Recognition2018

    • 著者名/発表者名
      X. Liu, M. Sawayama, R. Hayashi, M. Ozay, T. Okatani and S. Nishida
    • 雑誌名

      Journal of Vision

      巻: 18 ページ: 756-756

    • 関連する報告書
      2018 実績報告書
    • 査読あり / オープンアクセス
  • [雑誌論文] Image reconstruction from neural activity recorded from monkey inferior temporal cortex using generative adversarial networks2018

    • 著者名/発表者名
      R. Hayashi, H. Kawata
    • 雑誌名

      2018 IEEE International Conference on Systems, Man, and Cybernetics (SMC)

      巻: - ページ: 105-109

    • DOI

      10.1109/smc.2018.00028

    • 関連する報告書
      2018 実績報告書
    • 査読あり / オープンアクセス
  • [学会発表] Neural ensemble representation of view orientation in monkey inferior temporal cortex: A comparison between face and object processing2019

    • 著者名/発表者名
      R. Hayashi
    • 学会等名
      APCV2019
    • 関連する報告書
      2019 実績報告書
    • 国際学会
  • [学会発表] Schizophrenia reduces intra- and inter-individual variability of semantic representations in the brain2019

    • 著者名/発表者名
      Satoshi Nishida, Yukiko Matsumoto, Naganobu Yoshikawa, Shuraku Son, Akio Murakami, Ryusuke Hayashi, Hidehiko Takahashi, Shinji Nishimoto
    • 学会等名
      OHBM2019
    • 関連する報告書
      2019 実績報告書
    • 国際学会
  • [学会発表] fMRI evidence for the disorganization of semantic representation in the schizophrenia brain2019

    • 著者名/発表者名
      Satoshi Nishida, Yukiko Matsumoto, Naganobu Yoshikawa, Shuraku Son, Akio Murakami, Ryusuke Hayashi, Hidehiko Takahashi, Shinji Nishimoto
    • 学会等名
      Mechanisim of Brain and Mind the 19th winter workshop, Rusutu
    • 関連する報告書
      2018 実績報告書
  • [学会発表] Exploring visual system using deep neural network2019

    • 著者名/発表者名
      R. Hayashi
    • 学会等名
      Symposium of Yotta Informatics Research Platform for Yotta-Scale Data Science 2019
    • 関連する報告書
      2018 実績報告書
    • 国際学会 / 招待講演
  • [学会発表] Image reconstruction from neural activity recorded from monkey inferior temporal cortex using generative adversarial networks2018

    • 著者名/発表者名
      R. Hayashi, H. Kawata
    • 学会等名
      Proceedings of IEEE SMC
    • 関連する報告書
      2018 実績報告書
    • 国際学会
  • [学会発表] Perturbation Tolerance of Deep Neural Networks and Humans in Material Recognition2018

    • 著者名/発表者名
      X. Liu, M. Sawayama, R. Hayashi, M. Ozay, T. Okatani and S. Nishida
    • 学会等名
      Annual Meeting of the Vision Sciences Society (VSS)
    • 関連する報告書
      2018 実績報告書
    • 国際学会
  • [学会発表] GANを用いたサルIT皮質ニューロン活動のデコーディング2018

    • 著者名/発表者名
      林 隆介, 河田 隼季
    • 学会等名
      SICEライフエンジニアリング部門シンポジウム(第33回生体・生理工学シンポジウム)
    • 関連する報告書
      2018 実績報告書
  • [学会発表] 画像生成ニューラルネットワークによるサル下側頭葉の神経情報の復号化2018

    • 著者名/発表者名
      河田 隼季,林 隆介
    • 学会等名
      日本視覚学会2018年夏季大会
    • 関連する報告書
      2018 実績報告書
  • [備考] 産業技術総合研究所 人間情報インタラクション研究部門 ニューロリハビリテーション研究グループ

    • URL

      https://unit.aist.go.jp/hiri/nrrg/research/index.html

    • 関連する報告書
      2019 実績報告書
  • [備考] 産業技術総合研究所 人間情報研究部門 ニューロリハビリテーション研究グループ

    • URL

      https://unit.aist.go.jp/hiri/nrrg/index.html

    • 関連する報告書
      2018 実績報告書

URL: 

公開日: 2018-04-23   更新日: 2021-01-27  

サービス概要 検索マニュアル よくある質問 お知らせ 利用規程 科研費による研究の帰属

Powered by NII kakenhi