• Search Research Projects
  • Search Researchers
  • How to Use
  1. Back to previous page

Developmental Models of Self-Other Correspondence and Imitation by Deep Neural Networks

Research Project

Project/Area Number 20K19880
Research Category

Grant-in-Aid for Early-Career Scientists

Allocation TypeMulti-year Fund
Review Section Basic Section 61040:Soft computing-related
Research InstitutionHokkaido University

Principal Investigator

Noguchi Wataru  北海道大学, 数理・データサイエンス教育研究センター, 特任助教 (60868082)

Project Period (FY) 2020-04-01 – 2024-03-31
Project Status Completed (Fiscal Year 2023)
Budget Amount *help
¥4,290,000 (Direct Cost: ¥3,300,000、Indirect Cost: ¥990,000)
Fiscal Year 2023: ¥520,000 (Direct Cost: ¥400,000、Indirect Cost: ¥120,000)
Fiscal Year 2022: ¥520,000 (Direct Cost: ¥400,000、Indirect Cost: ¥120,000)
Fiscal Year 2021: ¥1,820,000 (Direct Cost: ¥1,400,000、Indirect Cost: ¥420,000)
Fiscal Year 2020: ¥1,430,000 (Direct Cost: ¥1,100,000、Indirect Cost: ¥330,000)
Keywords深層学習 / 予測学習 / ミラーニューロン / 模倣 / 身体イメージ / 視点取得 / 視点変換 / 空間認知 / 内部モデル / 自己 / 他者
Outline of Research at the Start

本研究では,模倣のために必要な自己と他者の身体動作の対応付けをコードするミラーニューロンと,ミラーニューロンを利用して模倣能力を獲得する深層学習モデルを構築することで,ミラーニューロンと模倣能力の獲得メカニズムを明らかにする.
とくに,深層学習を用いて実際の生物に近い複雑な情報の認識が可能なモデルを構築し,生物と同等な経験からミラーニューロン・模倣能力の獲得するという点でモデルの妥当性を示す.

Outline of Final Research Achievements

In this study, we constructed deep neural network models that can acquire the correspondence between self and other body with mirror neurons as well as imitation ability. To overcome the discrepancy in appearance between the self and the other when viewed from a first-person perspective, the shared module of the model first acquires the spatial representation of the environment as well as the spatial representation of the body, i.e., body image, through predictive learning. In the shared module of the model, the superposition of the self and the other, i.e., the acquisition of a shared body image of the self and the other, is achieved, and at the same time, mirror neurons and imitation ability are acquired. In addition, we extended the model to include body extension and the acquisition of viewpoint transformation and perspective taking.

Academic Significance and Societal Importance of the Research Achievements

本研究で構築したモデルにおけるミラーニューロン・模倣能力の獲得メカニズムは,例えば模倣されるという経験により自己と他者の身体姿勢・動作の対応関係を明示的に与えられることを仮定しておらず,従来のモデルで仮定されていたような,模倣される経験を通した連合学習による説明に加え,ミラーニューロン・模倣の発達メカニズムの解明に貢献することが期待される.また,構築したモデルによって,ミラーニューロン・模倣に限らず,視点取得能力も獲得可能であることを示しており,本研究のモデル・知見を拡張することで,より広範な社会的認知の発達の基盤的メカニズムの解明に貢献することが期待される.

Report

(5 results)
  • 2023 Annual Research Report   Final Research Report ( PDF )
  • 2022 Research-status Report
  • 2021 Research-status Report
  • 2020 Research-status Report
  • Research Products

    (9 results)

All 2023 2022 2020

All Journal Article (2 results) (of which Peer Reviewed: 1 results,  Open Access: 2 results) Presentation (7 results) (of which Int'l Joint Research: 3 results)

  • [Journal Article] Superposition mechanism as a neural basis for understanding others2022

    • Author(s)
      Noguchi Wataru、Iizuka Hiroyuki、Yamamoto Masahito、Taguchi Shigeru
    • Journal Title

      Scientific Reports

      Volume: 12 Issue: 1

    • DOI

      10.1038/s41598-022-06717-3

    • Related Report
      2021 Research-status Report
    • Peer Reviewed / Open Access
  • [Journal Article] 視覚と運動の予測学習を通して空間認知を獲得する深層学習モデル2022

    • Author(s)
      野口 渉、飯塚 博幸、山本 雅人
    • Journal Title

      システム/制御/情報

      Volume: 66 Pages: 139-144

    • Related Report
      2021 Research-status Report
    • Open Access
  • [Presentation] Multimodal Plastic Body and Peripersonal Space Representation Developed Through Learning of Visuo-Tactile-Proprioceptive Sensations2023

    • Author(s)
      Wataru Noguchi, Hiroyuki Iizuka, Masahito Yamamoto
    • Organizer
      The 2023 Conference on Artificial Life
    • Related Report
      2023 Annual Research Report
    • Int'l Joint Research
  • [Presentation] Acquiring Viewpoint Transformation to Reuse Self Body Image for Other on Self-Organized Internal Spatial Coordinate System2023

    • Author(s)
      Wataru Noguchi, Hiroyuki Iizuka, Masahito Yamamoto
    • Organizer
      The 2023 IEEE International Conference on Development and Learning
    • Related Report
      2023 Annual Research Report
    • Int'l Joint Research
  • [Presentation] Masked Autoencoding による触覚と固有受容感覚の経験を通した身体近傍空間の認識2023

    • Author(s)
      野口 渉,飯塚博幸,山本雅人
    • Organizer
      情報処理学会第85回全国大会
    • Related Report
      2022 Research-status Report
  • [Presentation] Transformer Autoencoder による視覚・触覚で共有な身体近傍空間表現の獲得2023

    • Author(s)
      野口 渉,飯塚博幸,山本雅人
    • Organizer
      2023年度 人工知能学会全国大会(第37回)
    • Related Report
      2022 Research-status Report
  • [Presentation] 感覚運動予測学習による物体形状表現の獲得モデル2022

    • Author(s)
      野口 渉
    • Organizer
      情報処理学会第84回全国大会
    • Related Report
      2021 Research-status Report
  • [Presentation] Understanding intention of others through visual predictive learning based on superposition mechanism2022

    • Author(s)
      Katsuki Auchi, Wataru Noguchi, Hiroyuki Iizuka, Masahito Yamamoto
    • Organizer
      The Fifth International Symposium on Swarm Behavior and Bio-Inspired Robotics (SWARM 5th 2022)
    • Related Report
      2021 Research-status Report
    • Int'l Joint Research
  • [Presentation] 深層学習モデルによる自己と他者の共有身体イメージの獲得2020

    • Author(s)
      野口 渉, 飯塚 博幸, 山本 雅人
    • Organizer
      第19回情報科学技術フォーラム
    • Related Report
      2020 Research-status Report

URL: 

Published: 2020-04-28   Modified: 2025-01-30  

Information User Guide FAQ News Terms of Use Attribution of KAKENHI

Powered by NII kakenhi