Development of a Piano Learning Support System Using Mixed Reality

2021 Fiscal Year Final Research Report

• Project/Area Number: 18K11564
• Research Category: Grant-in-Aid for Scientific Research (C)
• Allocation Type: Multi-year Fund
• Section: 一般
• Review Section: Basic Section 62030:Learning support system-related
• Research Institution: Shinshu University
• Principal Investigator: Miyao Hidetoshi 信州大学, 学術研究院工学系, 准教授 (10239353)
• Project Period (FY): 2018-04-01 – 2022-03-31
• Keywords: 複合現実 / ピアノ学習

Outline of Final Research Achievements

To realize an efficient learning support for piano performance, we have developed a system that can create and display CG objects on a piano in real space using a mixed reality device. Moreover, we have developed a guitar learning support system and a typing learning support system. In these systems, it was shown that the system using mixed reality is more intuitive and easier to understand than the conventional systems.

Free Research Field

ヒューマンコンピュータインタラクション

Academic Significance and Societal Importance of the Research Achievements

動作をともなう各種技能を教える場合、技能を如何に効率よく学習者に伝達することができるかが課題となっている。本研究では、複合現実を用いた手法を使って、その実現を目指した。複合現実を実現する透過型ヘッドマウントディスプレイでは、レンズ上にコンピュータで作成した物体を映し出すことができるとともに、透過レンズ越しに現実の世界を見ることができる。この機能を利用して、学習者の手元に、必要となる様々な情報をリアルタイムに表示するシステムを構築し、検証実験により、その機能の有効性を示した。以上、これらの技術は、今後の学習支援分野の発展に大きく寄与する内容であると考えられる。