A study on neural representation of cognitive dissonance about Shitsukan using deep neural network

• Project Area: Understanding human recognition of material properties for innovation in SHITSUKAN science and technology
• Project/Area Number: 18H05019
• Research Category: Grant-in-Aid for Scientific Research on Innovative Areas (Research in a proposed research area)
• Allocation Type: Single-year Grants
• Research Institution: National Institute of Advanced Industrial Science and Technology
• Principal Investigator: 林 隆介 国立研究開発法人産業技術総合研究所, 情報・人間工学領域, 主任研究員 (80444470)
• Project Period (FY): 2018-04-01 – 2020-03-31
• Project Status: Completed (Fiscal Year 2019)
• Budget Amount: ¥5,200,000 (Direct Cost: ¥4,000,000、Indirect Cost: ¥1,200,000); Fiscal Year 2019: ¥2,600,000 (Direct Cost: ¥2,000,000、Indirect Cost: ¥600,000); Fiscal Year 2018: ¥2,600,000 (Direct Cost: ¥2,000,000、Indirect Cost: ¥600,000)
• Keywords: 深層学習 / 質感 / 視覚情報処理 / 電気生理 / 神経科学 / 物体認識 / 深層ニューラルネットワーク

Outline of Annual Research Achievements

本研究では、画像上の質感変異にともなう神経活動の変化を、マカクザルの視覚野から網羅的に記録し、ニューラルネットワークを介して語彙概念体系内の表象変化と対応づけることにより、質感をふくめたカテゴリ化プロセスとその不協和の神経メカニズムを解明することを目指す。本年度は、視覚野のモデルとして畳込深層ニューラルネットワークを仮定し、その情報表現と感性表現との関係を視覚―言語データ間の学習によってモデル化した。その結果、モーフィング操作によって作成した曖昧な質感をもつ画像に対し、不気味の谷のような不快な感性表現が現れることを再現した。同様のモーフィング画像に対する神経応答をサル視覚野から記録し、その神経情報表現の時間変化を明らかにした。また、視覚―言語データを用いて、脳内の意味表象を定量的に解析する取り組みも実施した。このほか、サル視覚野の広範囲な領域から脳機能活動をfNIRSによって計測する実験を実施した。

Research Progress Status

令和元年度が最終年度であるため、記入しない。

Strategy for Future Research Activity

令和元年度が最終年度であるため、記入しない。

Research Products

• [Journal Article] Distinct mechanisms of temporal binding in generalized and cross-modal flash-lag effects (2019)
  • Author(s): Hayashi Ryusuke、Murakami Ikuya
  • Journal Title: Scientific Reports Volume: 9 Issue: 1 Pages: 3829-3829
  • DOI: 10.1038/s41598-019-40370-7
  • Peer Reviewed / Open Access
• [Journal Article] Perturbation Tolerance of Deep Neural Networks and Humans in Material Recognition (2018)
  • Author(s): X. Liu, M. Sawayama, R. Hayashi, M. Ozay, T. Okatani and S. Nishida
  • Journal Title: Journal of Vision Volume: 18 Pages: 756-756
  • Peer Reviewed / Open Access
• [Journal Article] Image reconstruction from neural activity recorded from monkey inferior temporal cortex using generative adversarial networks (2018)
  • Author(s): R. Hayashi, H. Kawata
  • Journal Title: 2018 IEEE International Conference on Systems, Man, and Cybernetics (SMC) Volume: - Pages: 105-109
  • DOI: 10.1109/smc.2018.00028
  • Peer Reviewed / Open Access
• [Presentation] Neural ensemble representation of view orientation in monkey inferior temporal cortex: A comparison between face and object processing (2019)
  • Author(s): R. Hayashi
  • Organizer: APCV2019
  • Int'l Joint Research
• [Presentation] Schizophrenia reduces intra- and inter-individual variability of semantic representations in the brain (2019)
  • Author(s): Satoshi Nishida, Yukiko Matsumoto, Naganobu Yoshikawa, Shuraku Son, Akio Murakami, Ryusuke Hayashi, Hidehiko Takahashi, Shinji Nishimoto
  • Organizer: OHBM2019
  • Int'l Joint Research
• [Presentation] fMRI evidence for the disorganization of semantic representation in the schizophrenia brain (2019)
  • Author(s): Satoshi Nishida, Yukiko Matsumoto, Naganobu Yoshikawa, Shuraku Son, Akio Murakami, Ryusuke Hayashi, Hidehiko Takahashi, Shinji Nishimoto
  • Organizer: Mechanisim of Brain and Mind the 19th winter workshop, Rusutu
• [Presentation] Exploring visual system using deep neural network (2019)
  • Author(s): R. Hayashi
  • Organizer: Symposium of Yotta Informatics Research Platform for Yotta-Scale Data Science 2019
  • Int'l Joint Research / Invited
• [Presentation] Image reconstruction from neural activity recorded from monkey inferior temporal cortex using generative adversarial networks (2018)
  • Author(s): R. Hayashi, H. Kawata
  • Organizer: Proceedings of IEEE SMC
  • Int'l Joint Research
• [Presentation] Perturbation Tolerance of Deep Neural Networks and Humans in Material Recognition (2018)
  • Author(s): X. Liu, M. Sawayama, R. Hayashi, M. Ozay, T. Okatani and S. Nishida
  • Organizer: Annual Meeting of the Vision Sciences Society (VSS)
  • Int'l Joint Research
• [Presentation] GANを用いたサルIT皮質ニューロン活動のデコーディング (2018)
  • Author(s): 林 隆介, 河田 隼季
  • Organizer: SICEライフエンジニアリング部門シンポジウム（第33回生体・生理工学シンポジウム）
• [Presentation] 画像生成ニューラルネットワークによるサル下側頭葉の神経情報の復号化 (2018)
  • Author(s): 河田 隼季，林 隆介
  • Organizer: 日本視覚学会2018年夏季大会
• [Remarks] 産業技術総合研究所 人間情報インタラクション研究部門 ニューロリハビリテーション研究グループ
  • URL: https://unit.aist.go.jp/hiri/nrrg/research/index.html
• [Remarks] 産業技術総合研究所 人間情報研究部門 ニューロリハビリテーション研究グループ
  • URL: https://unit.aist.go.jp/hiri/nrrg/index.html