• Search Research Projects
  • Search Researchers
  • How to Use
  1. Back to previous page

Development of new haptic-audio-visual experiences by constructing remote sound drawing methods using mixed reality

Research Project

Project/Area Number 21K00234
Research Category

Grant-in-Aid for Scientific Research (C)

Allocation TypeMulti-year Fund
Section一般
Review Section Basic Section 01070:Theory of art practice-related
Research InstitutionNagoya City University

Principal Investigator

Nakagawa Ryu  名古屋市立大学, 大学院芸術工学研究科, 准教授 (60631124)

Co-Investigator(Kenkyū-buntansha) 古川 聖  東京藝術大学, 美術学部, 教授 (40323761)
大村 英史  東京理科大学, 創域理工学部情報計算科学科, 講師 (90645277)
Project Period (FY) 2021-04-01 – 2024-03-31
Project Status Completed (Fiscal Year 2023)
Budget Amount *help
¥4,160,000 (Direct Cost: ¥3,200,000、Indirect Cost: ¥960,000)
Fiscal Year 2023: ¥1,560,000 (Direct Cost: ¥1,200,000、Indirect Cost: ¥360,000)
Fiscal Year 2022: ¥1,040,000 (Direct Cost: ¥800,000、Indirect Cost: ¥240,000)
Fiscal Year 2021: ¥1,560,000 (Direct Cost: ¥1,200,000、Indirect Cost: ¥360,000)
Keywords複合現実 / 視聴触覚体験 / 遠隔コミュニケーション / XR / 体験デザイン / メタバース / Mixed Reality / メディアアート / 芸術表現
Outline of Research at the Start

本研究は研究代表者らによる2018-2020年度実施の基盤研究(C)「複合現実における空間音描手法の開拓」に直接接続し、当手法を拡張・展開させるものである。具体的には前研究成果を基盤に、1)遠隔通信に特化した新手法の構成的検討、2)半導体熱電素子・筋電気刺激等を用いた空間音描に触れることを可能にするデバイスの開発、3)1, 2の作業の統合による複数人参加型遠隔空間音描手法の構築、および、4)行動認識アルゴリズムを用いた体験者の動作の定量的抽出を実施し、表現手法の実装と分析データ面の双方から新規空間音描手法の特質を明らかにする。

Outline of Final Research Achievements

This research directly connects to and expands on the Grant-in-Aid for Scientific Research (C) "Development of new haptic-audio-visual experiences by constructing remote sound drawing methods using mixed reality" conducted by the research representatives during the fiscal years 2018-2020. Specifically, based on the previous research results, it aims to: 1) structurally examine new methods specialized in remote communication, 2) develop devices that allow for the haptic experience of spatial sound drawing method using semiconductor thermoelectric elements and electric muscle stimulation, 3) construct a multi-participant remote spatial sound drawing method by integrating tasks 1 and 2, and 4) quantitatively extract the movements of participants using behavior recognition algorithms, with the goal of elucidating the characteristics of new spatial sound drawing methods from both the implementation of expressive techniques and the analysis of data.

Academic Significance and Societal Importance of the Research Achievements

本研究は、近年の芸術分野における重要なコンテクストの一つである“ポスト・インターネット”以降の芸術表現やコロナ禍以降のコミュニケーションのあり方について、その可能性を示すことを意図している。仮想と現実が多元的かつ複雑に融合する社会におけるあらゆる表現行為や他者との関係性について思索する場として、また、MR社会実装に向けて具体的かつ実践的な事例を提供することができたと考える。

Report

(4 results)
  • 2023 Annual Research Report   Final Research Report ( PDF )
  • 2022 Research-status Report
  • 2021 Research-status Report
  • Research Products

    (18 results)

All 2024 2023 2022 Other

All Journal Article (9 results) (of which Peer Reviewed: 2 results) Presentation (8 results) (of which Int'l Joint Research: 2 results) Remarks (1 results)

  • [Journal Article] SVR-4 ver.2 ~ ブータンにおける版築家屋施工者教育用VR ~2024

    • Author(s)
      田村彩夏、古川雅也、ソナム・ツェワング、中川隆
    • Journal Title

      映像情報メディア学会技術報告

      Volume: 48 Pages: 97-100

    • Related Report
      2023 Annual Research Report
  • [Journal Article] Meta Musicking: A Playground for Exploring Alternative Realities with Others in the XR Age2023

    • Author(s)
      Nakagawa Ryu、Furukawa Masaya、Yamanaka Ayano、Yamamoto Maika
    • Journal Title

      SA '23: SIGGRAPH Asia 2023 Posters

      Volume: Article No.: 26 Pages: 1-2

    • DOI

      10.1145/3610542.3626138

    • Related Report
      2023 Annual Research Report
    • Peer Reviewed
  • [Journal Article] Meta Flowers: An Analogy of Life in the XR Era2022

    • Author(s)
      K. Sonobe, M. Furukawa, A. Yamanaka, H. Ohmura, and T. Shibayama, R. Nakagawa
    • Journal Title

      Proceedings of SIGGRAPH 2022 Immersive Pavilion Article

      Volume: 12 Pages: 1-2

    • DOI

      10.1145/3532834.3536199

    • Related Report
      2022 Research-status Report
    • Peer Reviewed
  • [Journal Article] Meta Flowers ~ XR時代における生命のアナロジー ~2022

    • Author(s)
      薗部 健, 中川 隆
    • Journal Title

      映像情報メディア学会技術報告

      Volume: 46 Pages: 5-8

    • Related Report
      2021 Research-status Report
  • [Journal Article] ハプティクスとハンドトラッキングを用いたVR憑依体験2022

    • Author(s)
      寺田有希, 中川 隆
    • Journal Title

      映像情報メディア学会技術報告

      Volume: 46 Pages: 267-270

    • Related Report
      2021 Research-status Report
  • [Journal Article] 温感触覚装置を用いてキャラの体温を感じ取ることができるVR乙女ゲーム2022

    • Author(s)
      山中文乃, 中川 隆
    • Journal Title

      映像情報メディア学会技術報告

      Volume: 46 Pages: 291-294

    • Related Report
      2021 Research-status Report
  • [Journal Article] メタバースにおける引退した鉄道車両の動態保存および体験の可能性2022

    • Author(s)
      片岡愛富, 中川 隆
    • Journal Title

      映像情報メディア学会技術報告

      Volume: 46 Pages: 253-256

    • Related Report
      2021 Research-status Report
  • [Journal Article] ミラーワールド時代におけるデータベースを素材としたVR九龍城砦の表象2022

    • Author(s)
      古川雅也, 中川 隆
    • Journal Title

      映像情報メディア学会技術報告

      Volume: 46 Pages: 301-304

    • Related Report
      2021 Research-status Report
  • [Journal Article] 仮想(ジツ)人間が紛れ込んだVRChatワールド2022

    • Author(s)
      伊藤夏希, 中川 隆
    • Journal Title

      映像情報メディア学会技術報告

      Volume: 46 Pages: 261-264

    • Related Report
      2021 Research-status Report
  • [Presentation] Meta Musicking: A Playground for Exploring Alternative Realities with Others in the XR Age2023

    • Author(s)
      Nakagawa Ryu、Furukawa Masaya、Yamanaka Ayano、Yamamoto Maika
    • Organizer
      SIGGRAPH ASIA 2023
    • Related Report
      2023 Annual Research Report
    • Int'l Joint Research
  • [Presentation] Meta Flowers: An Analogy of Life in the XR Era2022

    • Author(s)
      Sonobe Ken、Furukawa Masaya、Yamanaka Ayaka、Ohmura Hidefumi、Shibayama Takuro、Nakagawa Ryu
    • Organizer
      SIGGRAPH 2022
    • Related Report
      2022 Research-status Report
    • Int'l Joint Research
  • [Presentation] Meta Flowers ~ XR時代における生命のアナロジー ~2022

    • Author(s)
      薗部 健, 中川 隆
    • Organizer
      映像表現・芸術科学フォーラム2022
    • Related Report
      2021 Research-status Report
  • [Presentation] ハプティクスとハンドトラッキングを用いたVR憑依体験2022

    • Author(s)
      寺田有希, 中川 隆
    • Organizer
      映像表現・芸術科学フォーラム2022
    • Related Report
      2021 Research-status Report
  • [Presentation] 温感触覚装置を用いてキャラの体温を感じ取ることができるVR乙女ゲーム2022

    • Author(s)
      山中文乃, 中川 隆
    • Organizer
      映像表現・芸術科学フォーラム2022
    • Related Report
      2021 Research-status Report
  • [Presentation] メタバースにおける引退した鉄道車両の動態保存および体験の可能性2022

    • Author(s)
      片岡愛富, 中川 隆
    • Organizer
      映像表現・芸術科学フォーラム2022
    • Related Report
      2021 Research-status Report
  • [Presentation] ミラーワールド時代におけるデータベースを素材としたVR九龍城砦の表象2022

    • Author(s)
      古川雅也, 中川 隆
    • Organizer
      映像表現・芸術科学フォーラム2022
    • Related Report
      2021 Research-status Report
  • [Presentation] 仮想(ジツ)人間が紛れ込んだVRChatワールド2022

    • Author(s)
      伊藤夏希, 中川 隆
    • Organizer
      映像表現・芸術科学フォーラム2022
    • Related Report
      2021 Research-status Report
  • [Remarks] Meta Musicking

    • URL

      https://nakagawalab.com/meta-musicking

    • Related Report
      2023 Annual Research Report

URL: 

Published: 2021-04-28   Modified: 2025-01-30  

Information User Guide FAQ News Terms of Use Attribution of KAKENHI

Powered by NII kakenhi