深層学習による顔・身体画像表現の異文化差の解明

• Project Area: Construction of the Face-Body studies in transcultural conditions
• Project/Area Number: 18H04208
• Research Category: Grant-in-Aid for Scientific Research on Innovative Areas (Research in a proposed research area)
• Allocation Type: Single-year Grants
• Research Institution: National Institute of Advanced Industrial Science and Technology
• Principal Investigator: 林 隆介 国立研究開発法人産業技術総合研究所, 情報・人間工学領域, 主任研究員 (80444470)
• Project Period (FY): 2018-04-01 – 2020-03-31
• Project Status: Completed (Fiscal Year 2019)
• Budget Amount: ¥5,200,000 (Direct Cost: ¥4,000,000、Indirect Cost: ¥1,200,000); Fiscal Year 2019: ¥2,600,000 (Direct Cost: ¥2,000,000、Indirect Cost: ¥600,000); Fiscal Year 2018: ¥2,600,000 (Direct Cost: ¥2,000,000、Indirect Cost: ¥600,000)
• Keywords: 深層学習 / 顔認知 / 視覚情報処理 / 顔認識 / 身体表現 / 深層ニューラルネット / 神経科学

Outline of Annual Research Achievements

本研究では、人間の視覚情報処理の学習モデルとして、畳み込み深層ニューラルネットに基づく教師なし学習を仮定し、大規模な顔・身体画像データを学習した深層ニューラルネットワークが、どのような顔・身体情報表現を自己組織的に獲得するのか明らかにすることを目標とする。本年度は、畳み込み深層ニューラルネットが、サル視覚野から記録した神経情報表現と類似性が高いことを明らかにした。また、計画班でフィールドワークを行うグループから、さまざまな文化圏で収集された画像データを提供いただき、主に顔画像の成分解析を行った。その結果、データ採取地域固有の顔特徴の存在が示唆された。

Research Progress Status

令和元年度が最終年度であるため、記入しない。

Strategy for Future Research Activity

令和元年度が最終年度であるため、記入しない。

Research Products

• [Journal Article] Distinct mechanisms of temporal binding in generalized and cross-modal flash-lag effects (2019)
  • Author(s): Hayashi Ryusuke、Murakami Ikuya
  • Journal Title: Scientific Reports Volume: 9 Issue: 1 Pages: 3829-3829
  • DOI: 10.1038/s41598-019-40370-7
  • Peer Reviewed / Open Access
• [Journal Article] Perturbation Tolerance of Deep Neural Networks and Humans in Material Recognition (2018)
  • Author(s): X. Liu, M. Sawayama, R. Hayashi, M. Ozay, T. Okatani and S. Nishida
  • Journal Title: Journal of Vision Volume: 18 Pages: 756-756
  • Peer Reviewed / Open Access
• [Journal Article] Image reconstruction from neural activity recorded from monkey inferior temporal cortex using generative adversarial networks (2018)
  • Author(s): R. Hayashi, H. Kawata
  • Journal Title: 2018 IEEE International Conference on Systems, Man, and Cybernetics (SMC) Volume: - Pages: 105-109
  • DOI: 10.1109/smc.2018.00028
  • Peer Reviewed / Open Access
• [Presentation] Neural ensemble representation of view orientation in monkey inferior temporal cortex: A comparison between face and object processing (2019)
  • Author(s): R. Hayashi
  • Organizer: APCV2019
  • Int'l Joint Research
• [Presentation] Schizophrenia reduces intra- and inter-individual variability of semantic representations in the brain (2019)
  • Author(s): Satoshi Nishida, Yukiko Matsumoto, Naganobu Yoshikawa, Shuraku Son, Akio Murakami, Ryusuke Hayashi, Hidehiko Takahashi, Shinji Nishimoto
  • Organizer: OHBM2019
  • Int'l Joint Research
• [Presentation] fMRI evidence for the disorganization of semantic representation in the schizophrenia brain (2019)
  • Author(s): Satoshi Nishida, Yukiko Matsumoto, Naganobu Yoshikawa, Shuraku Son, Akio Murakami, Ryusuke Hayashi, Hidehiko Takahashi, Shinji Nishimoto
  • Organizer: Mechanisim of Brain and Mind the 19th winter workshop, Rusutu
• [Presentation] Image reconstruction from neural activity recorded from monkey inferior temporal cortex using generative adversarial networks (2018)
  • Author(s): R. Hayashi, H. Kawata
  • Organizer: Proceedings of IEEE SMC
  • Int'l Joint Research
• [Presentation] Perturbation Tolerance of Deep Neural Networks and Humans in Material Recognition (2018)
  • Author(s): X. Liu, M. Sawayama, R. Hayashi, M. Ozay, T. Okatani and S. Nishida
  • Organizer: Annual Meeting of the Vision Sciences Society (VSS)
  • Int'l Joint Research
• [Presentation] GANを用いたサルIT皮質ニューロン活動のデコーディング (2018)
  • Author(s): 林 隆介, 河田 隼季
  • Organizer: SICEライフエンジニアリング部門シンポジウム（第33回生体・生理工学シンポジウム）
• [Presentation] 画像生成ニューラルネットワークによるサル下側頭葉の神経情報の復号化 (2018)
  • Author(s): 河田 隼季，林 隆介
  • Organizer: 日本視覚学会2018年夏季大会
• [Presentation] 視覚情報の階層的な処理とその時間的統合について (2018)
  • Author(s): 林 隆介
  • Organizer: 時間学公開学術シンポジウム『心的時間の諸特性とその基礎』－時間はどのようにして体験されているのか？－
  • Invited
• [Remarks] 産業技術総合研究所 人間情報インタラクション研究部門 ニューロリハビリテーション研究グループ
  • URL: https://unit.aist.go.jp/hiri/nrrg/research/index.html
• [Remarks] 産業技術総合研究所 人間情報研究部門 ニューロリハビリテーション研究グループ
  • URL: https://unit.aist.go.jp/hiri/nrrg/index.html