• 研究課題をさがす
  • 研究者をさがす
  • KAKENの使い方
  1. 課題ページに戻る

2021 年度 実績報告書

複合現実を用いたピアノ学習支援システムの構築

研究課題

研究課題/領域番号 18K11564
研究機関信州大学

研究代表者

宮尾 秀俊  信州大学, 学術研究院工学系, 准教授 (10239353)

研究期間 (年度) 2018-04-01 – 2022-03-31
キーワード複合現実 / ピアノ学習支援 / 手書き楽譜認識 / タッチタイピング学習支援 / 運指推定 / ギター学習支援
研究実績の概要

本研究の目的は、ピアノ演奏を対象として、効率の良い学習支援システムを構築することである。そのため、補助事業期間全体を通して、1. 複合現実を用いたピアノ演奏支援ツールの開発、2. ピアノ楽譜からの運指推定手法の考案、3. 模範演奏の指使いのCGアニメーション化、4. 手書き楽譜の自動認識ツールの開発を行ってきた。また、ピアノ演奏以外の技能学習支援への適用可能性を探るため、5. ギター演奏支援ツールの開発、6. キーボードのタッチタイピングを目指した学習支援ツールの開発にも着手した。令和3年度については、主に、上記1、2、5、6の項目について研究を行った。1については、今までのシステムでは、ピアノ演奏時の打鍵する指の誤りを検出できなかったが、HoloLens2(複合現実を実現するヘッドマウントディスプレイ)に備わるハンドトラッキング機能を用いることにより、打鍵する指を特定し、正誤判定を行う機能を追加した。2については、従来は隠れマルコフモデルを用いた運指推定手法が提案されていたが、深層学習を用いた手法を適用することにより、従来手法より精度の良い推定法を考案した。5については、MIDIギターを使用することにより、ユーザーが、どの弦を押さえたかを検出する機能を追加し、コード演奏時の正誤判定をできるようにしている。6については、従来のシステムでは、キーボードを押す指の正誤判定ができなかったため、HoloLens2のハンドトラッキング機能を用いて、それを可能とした。

  • 研究成果

    (4件)

すべて 2022 2021

すべて 学会発表 (4件) (うち国際学会 2件)

  • [学会発表] A Guitar Training System for Beginners Using a Mixed Reality Device and a MIDI Guitar2022

    • 著者名/発表者名
      Yoshiki Azuma, Hidetoshi Miyao, Minoru Maruyama
    • 学会等名
      International Conference on Human-Computer Interaction
    • 国際学会
  • [学会発表] A Typing Training System for Beginners Using a Mixed Reality Device2021

    • 著者名/発表者名
      Kouki Kakuta, Hidetoshi Miyao, Minoru Maruyama
    • 学会等名
      International Conference on Human-Computer Interaction
    • 国際学会
  • [学会発表] Mixed Realityを用いたギターの学習支援システムの構築2021

    • 著者名/発表者名
      東佳輝、宮尾秀俊、丸山稔
    • 学会等名
      電子情報通信学会信越支部大会
  • [学会発表] 音高差分列を用いたピアノ楽譜の運指推定2021

    • 著者名/発表者名
      野口佑太、宮尾秀俊、丸山稔
    • 学会等名
      電子情報通信学会信越支部大会

URL: 

公開日: 2022-12-28  

サービス概要 検索マニュアル よくある質問 お知らせ 利用規程 科研費による研究の帰属

Powered by NII kakenhi