Development of a system to support playing musical instruments using augmented reality technology

2020 Fiscal Year Final Research Report

• Project/Area Number: 18K11573
• Research Category: Grant-in-Aid for Scientific Research (C)
• Allocation Type: Multi-year Fund
• Section: 一般
• Review Section: Basic Section 62030:Learning support system-related
• Research Institution: The University of Tokushima
• Principal Investigator: SHISHIBORI Masami 徳島大学, 大学院社会産業理工学研究部(理工学域), 教授 (50274262)
• Co-Investigator(Kenkyū-buntansha): 光原 弘幸 徳島大学, 大学院社会産業理工学研究部(理工学域), 准教授 (90363134) ; 大野 将樹 徳島大学, 大学院社会産業理工学研究部(理工学域), 講師 (90433739)
• Project Period (FY): 2018-04-01 – 2021-03-31
• Keywords: 学習支援 / 拡張現実 / 回帰問題 / ピアノ演奏

Outline of Final Research Achievements

The purpose of this study is to develop a support system for playing musical instruments that can efficiently help students learn how to play instruments correctly, especially fingering, without the professional advisor. Fingering refers to the use of fingers when playing a musical instrument, and is an important performance skill for smooth playing. Conventional systems support performance by displaying a fingering model as a teacher on a monitor screen. The purpose of this study is to develop an instrument performance support system that enables learners to learn intuitively by wearing an augmented reality (AR) device and displaying a fingering model that serves as a teacher in the hand of the learner playing, while simultaneously viewing the fingering model that serves as a teacher and the learner's own fingering.

Free Research Field

教育工学

Academic Significance and Societal Importance of the Research Achievements

従来の楽器演奏システムは，カメラで撮影した自身の運指をモニター画面に映し，それを見ながら運指学習をするミラーライクのものであった．本研究の提案するAR技術を用いて自身の手元に運指モデルを投影するシステムは，国内外でも本研究が初めてである．また，教育工学の視点から見ると，近年，教育現場にもAR技術が取り入れられている．例えば，英語教育においては，仮想的なキャラクターが英会話をするものや， 理科教育においては，複雑な物理現象を3Dモデルで仮想的に再現するシステムが開発されている．しかしながら，音楽教育の分野にAR技術を取り入れる事例はほとんどなく，本研究の成果が音楽教育現場にもたらす影響は大きい．