Supporting the Sense of Unity for Remote Live Music Performance on the Internet

• Project/Area Number: 15K00274
• Research Category: Grant-in-Aid for Scientific Research (C)
• Allocation Type: Multi-year Fund
• Section: 一般
• Research Field: Human interface and interaction
• Research Institution: Kagawa University
• Principal Investigator: Tarumi Hiroyuki 香川大学, 工学部, 教授 (80293900)
• Project Period (FY): 2015-04-01 – 2018-03-31
• Project Status: Completed (Fiscal Year 2017)
• Budget Amount: ¥4,420,000 (Direct Cost: ¥3,400,000、Indirect Cost: ¥1,020,000); Fiscal Year 2017: ¥1,690,000 (Direct Cost: ¥1,300,000、Indirect Cost: ¥390,000); Fiscal Year 2016: ¥1,040,000 (Direct Cost: ¥800,000、Indirect Cost: ¥240,000); Fiscal Year 2015: ¥1,690,000 (Direct Cost: ¥1,300,000、Indirect Cost: ¥390,000)
• Keywords: CSCW / ヒューマンインタフェース / インターネット中継 / 音楽 / 非言語コミュニケーション / 仮想現実

Outline of Final Research Achievements

We found that sharing a particular set of hand gestures among performers and remote audiences is an effective method to realize bidirectional nonverbal communication for remote live music performances using the internet streaming.
By using the evaluation grid method, we have found that the "sense of unity," which is considered as an important value of live music performances, can be reproduced by sharing hand gestures. We also found that "unusualness" is also an important value of live music performances. Finally we developed a prototype system providing the "sense of unity" and "unusualness" using virtual reality techniques for remote live music performances. We evaluated the prototype and found it was effective.

Research Products

• [Journal Article] What Do Remote Music Performances Lack? (2017)
  • Author(s): H. Tarumi, T. Nakai, K. Miyazaki, D. Yamashita, and Y. Takasaki
  • Journal Title: Lecture Notes in Computer Science Volume: 10397 Pages: 14-21
  • DOI: 10.1007/978-3-319-63088-5_2
  • ISBN: 9783319630878, 9783319630885
  • Peer Reviewed
• [Presentation] 仮想現実感を用いた遠隔音楽ライブシステム KSA2 (2018)
  • Author(s): 山下大貴、中井智己、片岡佳椰、金子辰善、窪地祐貴、山口亮大、垂水浩幸
  • Organizer: 報処理学会第103回グループウェアとネットワークサービス研究会
• [Presentation] 仮想現実による遠隔音楽ライブシステムKSA2における演奏者インタフェースの開発 (2018)
  • Author(s): 中井智己、山下大貴、片岡佳椰、山口亮大、金子辰善、窪地祐貴、垂水浩幸
  • Organizer: 情報処理学会第80回全国大会
• [Presentation] 仮想現実による遠隔音楽ライブシステムKSA2における演奏者のモーションキャプチャ機能 (2018)
  • Author(s): 山口亮大、山下大貴、中井智己、片岡佳椰、金子辰善、窪地祐貴、垂水浩幸
  • Organizer: 情報処理学会第80回全国大会
• [Presentation] 仮想現実による遠隔音楽ライブシステムKSA2における視聴者同士の一体感の支援 (2018)
  • Author(s): 金子辰善、片岡佳椰、窪地祐貴、山下大貴、中井智己、山口亮大、垂水浩幸
  • Organizer: 情報処理学会第80回全国大会
• [Presentation] 仮想現実による遠隔音楽ライブシステムKSA2におけるプロテウス効果の評価 (2018)
  • Author(s): 片岡佳椰、金子辰善、山下大貴、窪地祐貴、中井智己、山口亮大、垂水浩幸
  • Organizer: 情報処理学会第80回全国大会
• [Presentation] Supporting the Sense of Unity between Remote Audiences in VR-Based Remote Live Music Support System KSA2 (2018)
  • Author(s): Kaneko, T., Tarumi, H, Kataoka, K., Kubochi, Y., Yamashita, D., Nakai, T., and Yamaguchi, R.
  • Organizer: 2018 IEEE International Conference on Artificial Intelligence and Virtual Reality (AIVR2018)
• [Presentation] 遠隔音楽ライブにおける視聴者の動作入力の改善とその評価 (2017)
  • Author(s): 高崎祐哉、宮崎啓、中井智己、山下大貴、垂水浩幸
  • Organizer: 情報処理学会第79回全国大会
  • Place of Presentation: 名古屋大学
  • Year and Date: 2017-03-16
• [Presentation] 遠隔音楽ライブ支援システムにおける視聴者の識別 (2017)
  • Author(s): 山下大貴、宮崎啓、中井智己、高崎祐哉、垂水浩幸
  • Organizer: 情報処理学会第79回全国大会
  • Place of Presentation: 名古屋大学
  • Year and Date: 2017-03-16
• [Presentation] 評価グリッド法を用いた音楽ライブにおける評価構造の抽出 (2017)
  • Author(s): 中井智己、宮崎啓、山下大貴、高崎祐哉、垂水浩幸
  • Organizer: 情報処理学会第100回グループウェアとネットワークサービス研究会
  • Place of Presentation: 香川県小豆郡土庄町
  • Year and Date: 2017-01-20
• [Presentation] VRとARを利用した音楽ライブ支援システムの提案 (2017)
  • Author(s): 中井智己、山下大貴、片岡佳椰、山口亮大、金子辰善、窪地祐貴、垂水浩幸
  • Organizer: 平成29年度電気関係学会四国支部連合大会
• [Presentation] KSA2におけるVR機器を使ったアクションの検知 (2017)
  • Author(s): 窪地祐貴、中井智己、山下大貴、片岡佳椰、山口亮大、金子辰善、垂水浩幸
  • Organizer: 平成29年度電気関係学会四国支部連合大会
• [Presentation] Supports for Remote Informal Communication and Its Application for Music Performances (2016)
  • Author(s): Tarumi, H.
  • Organizer: 2016 International Symposium on Novel and Sustainable Technology
  • Place of Presentation: Southern Taiwan University of Science and Technology, Tainan, Taiwan
  • Year and Date: 2016-10-06
  • Int'l Joint Research / Invited
• [Presentation] Comparison of Input Methods for Remote Audiences of Live Music Performances (2016)
  • Author(s): Morino, Y., Miyazaki, K., Tarumi, H., and Ichino, J.
  • Organizer: The eighth International Conference on Collaboration Technologies
  • Place of Presentation: Kanazawa, Japan
  • Year and Date: 2016-09-14
  • Int'l Joint Research
• [Presentation] Remote Entertainment Performances and Social Feedbacks (2016)
  • Author(s): Tarumi, H.
  • Organizer: IEEE/ACIS International Conference on Computer and Information Science 2016
  • Place of Presentation: Okayama, Japan
  • Year and Date: 2016-06-26
  • Int'l Joint Research / Invited
• [Presentation] 音楽ライブにおける遠隔応援の演奏者向けアニメーション表示 (2016)
  • Author(s): 宮崎啓、森野雄也、垂水浩幸、市野順子
  • Organizer: 情報処理学会第78回全国大会
  • Place of Presentation: 慶応義塾大学
  • Year and Date: 2016-03-10
• [Presentation] 遠隔音楽ライブにおける視聴者の動作入力方法とその評価 (2016)
  • Author(s): 森野雄也、宮崎啓、垂水浩幸、市野順子
  • Organizer: 情報処理学会第78回全国大会
  • Place of Presentation: 慶応義塾大学
  • Year and Date: 2016-03-10
• [Presentation] 遠隔音楽ライブにおける視聴者の動作入力の改善 (2016)
  • Author(s): 高崎祐哉、宮崎啓、垂水浩幸
  • Organizer: 平成28年度電気関係学会四国支部連合大会
  • Place of Presentation: 徳島大学
• [Presentation] 遠隔音楽ライブのコミュニケーション支援システムにおける視聴者の区別 (2016)
  • Author(s): 山下大貴、宮崎啓、中井智己、垂水浩幸
  • Organizer: 平成28年度電気関係学会四国支部連合大会
  • Place of Presentation: 徳島大学
• [Presentation] 音楽ライブ中継での盛り上がり共有シテスムにおける通信遅延による悪影響の軽減策の検討 (2015)
  • Author(s): 宮崎啓、垂水浩幸、林敏浩、市野順子
  • Organizer: 平成27年度電気関係学会四国支部連合大会
  • Place of Presentation: 高知工科大学
  • Year and Date: 2015-09-26
• [Remarks] ライブとコミュニケーション
  • URL: http://www.eng.kagawa-u.ac.jp/~tarumi/research/live/live-interaction.html