• Search Research Projects
  • Search Researchers
  • How to Use
  1. Back to project page

2018 Fiscal Year Annual Research Report

A study on neural representation of cognitive dissonance about Shitsukan using deep neural network

Publicly Offered Research

Project AreaUnderstanding human recognition of material properties for innovation in SHITSUKAN science and technology
Project/Area Number 18H05019
Research InstitutionNational Institute of Advanced Industrial Science and Technology

Principal Investigator

林 隆介  国立研究開発法人産業技術総合研究所, 情報・人間工学領域, 主任研究員 (80444470)

Project Period (FY) 2018-04-01 – 2020-03-31
Keywords深層学習 / 質感 / 視覚情報処理
Outline of Annual Research Achievements

本研究では、「不気味の谷」と呼ばれる質感認知上の違和感にともなう神経活動の変化を、実験動物の視覚野から記録し、深層ニューラルネットを介して語彙概念体系内の表象変化と対応づけることにより、質感をふくめたカテゴリ化プロセスとその不協和メカニズムの一端を明らかにすることを目的としている。研究計画の初年度にあたる、本年度は、異なる物体の3Dモデル間のモーフィングによって質感的不協和画像を作成し、画像観察中に生じる神経活動を実験動物から記録した。また、画像処理を行う深層ニューラルネットを元に、画像の内容を言語的語彙表現として出力する深層ニューラルネットの開発を進めたほか、物体カテゴリーのモーフィング変化に伴う、神経情報表現の変化を解析した。また、神経情報表現と深層ニューラルネットの情報表現との比較研究を進めるとともに、共同研究者からデータ提供を受け、ヒトの脳活動データを言語的語彙表現と対応づける解析を進めることができた。学会発表や招待講演の形で研究成果を発表することができた。この他、物体カテゴリの代表例である顔画像に注目し、顔画像処理に関わる心理物理学的研究を行い、その研究成果を国際論文誌に発表した。

Current Status of Research Progress
Current Status of Research Progress

2: Research has progressed on the whole more than it was originally planned.

Reason

当初の研究計画どおり、質感的不協和画像を作成しデータベース化するとともに、画像観察中に生じる神経活動を実験動物から記録することができた。また、解析に必要な深層ニューラルネットの開発をすすめ、神経情報表現と深層ニューラルネットの情報表現との比較対応研究を行うなど、概ね順調に進展している。

Strategy for Future Research Activity

今後は、実験動物の個体数を増やして神経記録実験を行うことにより、必要なデータを蓄積しつつ、質感的不協和メカニズムの解明に向けて、深層ニューラルネットワークのフレームワークの改良ならびに、神経データの解析を進めていく。

  • Research Products

    (10 results)

All 2019 2018 Other

All Journal Article (3 results) (of which Peer Reviewed: 3 results,  Open Access: 3 results) Presentation (6 results) (of which Int'l Joint Research: 3 results,  Invited: 1 results) Remarks (1 results)

  • [Journal Article] Distinct mechanisms of temporal binding in generated and cross-modal flash-lag effects2019

    • Author(s)
      R. Hayashi, I. Murakami
    • Journal Title

      Scientific Reports

      Volume: 9 Pages: 1-12

    • DOI

      10.1038/s41598-019-40370-7

    • Peer Reviewed / Open Access
  • [Journal Article] Perturbation Tolerance of Deep Neural Networks and Humans in Material Recognition2018

    • Author(s)
      X. Liu, M. Sawayama, R. Hayashi, M. Ozay, T. Okatani and S. Nishida
    • Journal Title

      Journal of Vision

      Volume: 18 Pages: 756-756

    • Peer Reviewed / Open Access
  • [Journal Article] Image reconstruction from neural activity recorded from monkey inferior temporal cortex using generative adversarial networks2018

    • Author(s)
      R. Hayashi, H. Kawata
    • Journal Title

      2018 IEEE International Conference on Systems, Man, and Cybernetics (SMC)

      Volume: - Pages: 105-109

    • DOI

      10.1109/SMC.2018.00028

    • Peer Reviewed / Open Access
  • [Presentation] fMRI evidence for the disorganization of semantic representation in the schizophrenia brain2019

    • Author(s)
      Satoshi Nishida, Yukiko Matsumoto, Naganobu Yoshikawa, Shuraku Son, Akio Murakami, Ryusuke Hayashi, Hidehiko Takahashi, Shinji Nishimoto
    • Organizer
      Mechanisim of Brain and Mind the 19th winter workshop, Rusutu
  • [Presentation] Exploring visual system using deep neural network2019

    • Author(s)
      R. Hayashi
    • Organizer
      Symposium of Yotta Informatics Research Platform for Yotta-Scale Data Science 2019
    • Int'l Joint Research / Invited
  • [Presentation] Image reconstruction from neural activity recorded from monkey inferior temporal cortex using generative adversarial networks2018

    • Author(s)
      R. Hayashi, H. Kawata
    • Organizer
      Proceedings of IEEE SMC
    • Int'l Joint Research
  • [Presentation] Perturbation Tolerance of Deep Neural Networks and Humans in Material Recognition2018

    • Author(s)
      X. Liu, M. Sawayama, R. Hayashi, M. Ozay, T. Okatani and S. Nishida
    • Organizer
      Annual Meeting of the Vision Sciences Society (VSS)
    • Int'l Joint Research
  • [Presentation] GANを用いたサルIT皮質ニューロン活動のデコーディング2018

    • Author(s)
      林 隆介, 河田 隼季
    • Organizer
      SICEライフエンジニアリング部門シンポジウム(第33回生体・生理工学シンポジウム)
  • [Presentation] 画像生成ニューラルネットワークによるサル下側頭葉の神経情報の復号化2018

    • Author(s)
      河田 隼季,林 隆介
    • Organizer
      日本視覚学会2018年夏季大会
  • [Remarks] 産業技術総合研究所 人間情報研究部門 ニューロリハビリテーション研究グループ

    • URL

      https://unit.aist.go.jp/hiri/nrrg/index.html

URL: 

Published: 2021-01-27  

Information User Guide FAQ News Terms of Use Attribution of KAKENHI

Powered by NII kakenhi