Development of new haptic-audio-visual experiences by constructing remote sound drawing methods using mixed reality

2023 Fiscal Year Final Research Report

• Project/Area Number: 21K00234
• Research Category: Grant-in-Aid for Scientific Research (C)
• Allocation Type: Multi-year Fund
• Section: 一般
• Review Section: Basic Section 01070:Theory of art practice-related
• Research Institution: Nagoya City University
• Principal Investigator: Nakagawa Ryu 名古屋市立大学, 大学院芸術工学研究科, 准教授 (60631124)
• Co-Investigator(Kenkyū-buntansha): 古川 聖 東京藝術大学, 美術学部, 教授 (40323761) ; 大村 英史 東京理科大学, 創域理工学部情報計算科学科, 講師 (90645277)
• Project Period (FY): 2021-04-01 – 2024-03-31
• Keywords: 複合現実 / 視聴触覚体験 / 遠隔コミュニケーション / XR / 体験デザイン / メタバース / Mixed Reality / メディアアート

Outline of Final Research Achievements

This research directly connects to and expands on the Grant-in-Aid for Scientific Research (C) "Development of new haptic-audio-visual experiences by constructing remote sound drawing methods using mixed reality" conducted by the research representatives during the fiscal years 2018-2020. Specifically, based on the previous research results, it aims to: 1) structurally examine new methods specialized in remote communication, 2) develop devices that allow for the haptic experience of spatial sound drawing method using semiconductor thermoelectric elements and electric muscle stimulation, 3) construct a multi-participant remote spatial sound drawing method by integrating tasks 1 and 2, and 4) quantitatively extract the movements of participants using behavior recognition algorithms, with the goal of elucidating the characteristics of new spatial sound drawing methods from both the implementation of expressive techniques and the analysis of data.

Free Research Field

芸術実践論

Academic Significance and Societal Importance of the Research Achievements

本研究は、近年の芸術分野における重要なコンテクストの一つである“ポスト・インターネット”以降の芸術表現やコロナ禍以降のコミュニケーションのあり方について、その可能性を示すことを意図している。仮想と現実が多元的かつ複雑に融合する社会におけるあらゆる表現行為や他者との関係性について思索する場として、また、MR社会実装に向けて具体的かつ実践的な事例を提供することができたと考える。