Whole-brian modeling on dancing in the human brain

2022 Fiscal Year Final Research Report

• Project/Area Number: 21K21309
• Research Category: Grant-in-Aid for Research Activity Start-up
• Allocation Type: Multi-year Fund
• Review Section: 1002:Human informatics, applied informatics and related fields
• Research Institution: Osaka University
• Principal Investigator: Yu Takagi 大阪大学, 大学院生命機能研究科, 助教 (20828553)
• Project Period (FY): 2021-08-30 – 2023-03-31
• Keywords: fMRI / 舞踊

Outline of Final Research Achievements

Dance is the ancient total artwork that has been practiced by humans across cultures for thousands of years, and the cross-modal combination of movement and music can trigger diverse cognitive and emotional experiences. Previous studies on dance have mainly examined the relationship between specific movements and cognitive functions or brain activities. Therefore, the previous studies have ignored the diverse information that the human brain processes during dance viewing, and have failed to comprehensively understand the relationship between dance and various cognitive functions and brain activity. In this study, we modeled various information processing related to dance in the human brain by constructing a whole-brain modeling using large dance data set with comprehensive feature extraction with deep neural network, and developing a new brain analysis method.

Free Research Field

システム神経科学

Academic Significance and Societal Importance of the Research Achievements

感情や技術点などの高次の情報が付与された、新たなダンスの大規模データセットを構築した。加えて、これまで難しかったダンス動画からの感覚情報及びそれらを統合した情報の自動的抽出を、大量のダンス動画を用いて訓練された深層生成モデルを用いることによって解決した。それらを用いて、ダンス視聴中のヒト脳活動で処理されている多様な情報処理の詳細を明らかにした。
並行して、深層生成モデルを用いた、多様な情報を柔軟に統合して人の認知体験を再構成するための基礎技術開発も行なった。本研究は世界中60以上のメディアによって報道された。