• Search Research Projects
  • Search Researchers
  • How to Use
  1. Back to previous page

Development of a Piano Learning Support System Using Mixed Reality

Research Project

Project/Area Number 18K11564
Research Category

Grant-in-Aid for Scientific Research (C)

Allocation TypeMulti-year Fund
Section一般
Review Section Basic Section 62030:Learning support system-related
Research InstitutionShinshu University

Principal Investigator

Miyao Hidetoshi  信州大学, 学術研究院工学系, 准教授 (10239353)

Project Period (FY) 2018-04-01 – 2022-03-31
Project Status Completed (Fiscal Year 2021)
Budget Amount *help
¥4,160,000 (Direct Cost: ¥3,200,000、Indirect Cost: ¥960,000)
Fiscal Year 2021: ¥650,000 (Direct Cost: ¥500,000、Indirect Cost: ¥150,000)
Fiscal Year 2020: ¥650,000 (Direct Cost: ¥500,000、Indirect Cost: ¥150,000)
Fiscal Year 2019: ¥1,560,000 (Direct Cost: ¥1,200,000、Indirect Cost: ¥360,000)
Fiscal Year 2018: ¥1,300,000 (Direct Cost: ¥1,000,000、Indirect Cost: ¥300,000)
Keywords複合現実 / ピアノ学習 / ピアノ学習支援 / 手書き楽譜認識 / タッチタイピング学習支援 / 運指推定 / ギター学習支援 / 運指
Outline of Final Research Achievements

To realize an efficient learning support for piano performance, we have developed a system that can create and display CG objects on a piano in real space using a mixed reality device. Moreover, we have developed a guitar learning support system and a typing learning support system. In these systems, it was shown that the system using mixed reality is more intuitive and easier to understand than the conventional systems.

Academic Significance and Societal Importance of the Research Achievements

動作をともなう各種技能を教える場合、技能を如何に効率よく学習者に伝達することができるかが課題となっている。本研究では、複合現実を用いた手法を使って、その実現を目指した。複合現実を実現する透過型ヘッドマウントディスプレイでは、レンズ上にコンピュータで作成した物体を映し出すことができるとともに、透過レンズ越しに現実の世界を見ることができる。この機能を利用して、学習者の手元に、必要となる様々な情報をリアルタイムに表示するシステムを構築し、検証実験により、その機能の有効性を示した。以上、これらの技術は、今後の学習支援分野の発展に大きく寄与する内容であると考えられる。

Report

(5 results)
  • 2021 Annual Research Report   Final Research Report ( PDF )
  • 2020 Research-status Report
  • 2019 Research-status Report
  • 2018 Research-status Report
  • Research Products

    (8 results)

All 2022 2021 2020

All Presentation (8 results) (of which Int'l Joint Research: 2 results)

  • [Presentation] A Guitar Training System for Beginners Using a Mixed Reality Device and a MIDI Guitar2022

    • Author(s)
      Yoshiki Azuma, Hidetoshi Miyao, Minoru Maruyama
    • Organizer
      International Conference on Human-Computer Interaction
    • Related Report
      2021 Annual Research Report
    • Int'l Joint Research
  • [Presentation] A Typing Training System for Beginners Using a Mixed Reality Device2021

    • Author(s)
      Kouki Kakuta, Hidetoshi Miyao, Minoru Maruyama
    • Organizer
      International Conference on Human-Computer Interaction
    • Related Report
      2021 Annual Research Report
    • Int'l Joint Research
  • [Presentation] Mixed Realityを用いたギターの学習支援システムの構築2021

    • Author(s)
      東佳輝、宮尾秀俊、丸山稔
    • Organizer
      電子情報通信学会信越支部大会
    • Related Report
      2021 Annual Research Report
  • [Presentation] 音高差分列を用いたピアノ楽譜の運指推定2021

    • Author(s)
      野口佑太、宮尾秀俊、丸山稔
    • Organizer
      電子情報通信学会信越支部大会
    • Related Report
      2021 Annual Research Report
  • [Presentation] 複合現実を用いたピアノ学習支援システムの構築2020

    • Author(s)
      長田広平、宮尾秀俊、丸山稔
    • Organizer
      電子情報通信学会信越支部大会
    • Related Report
      2020 Research-status Report
  • [Presentation] ピアノ演奏の学習支援における3Dアニメーション生成2020

    • Author(s)
      野口佑太、宮尾秀俊、丸山稔
    • Organizer
      電子情報通信学会信越支部大会
    • Related Report
      2020 Research-status Report
  • [Presentation] 機械学習を用いた複雑な構造を持つ手書き楽譜の認識法2020

    • Author(s)
      山嵜沢音、宮尾秀俊、丸山稔
    • Organizer
      電子情報通信学会信越支部大会
    • Related Report
      2020 Research-status Report
  • [Presentation] Mixed Realityを用いたギターの学習支援システムの構築2020

    • Author(s)
      東佳輝、宮尾秀俊、丸山稔
    • Organizer
      電子情報通信学会信越支部大会
    • Related Report
      2020 Research-status Report

URL: 

Published: 2018-04-23   Modified: 2023-01-30  

Information User Guide FAQ News Terms of Use Attribution of KAKENHI

Powered by NII kakenhi