2021 Fiscal Year Annual Research Report
Development of a Piano Learning Support System Using Mixed Reality
| Project/Area Number |
18K11564
|
|---|
| Research Institution | Shinshu University |
|---|
Principal Investigator |
宮尾 秀俊 信州大学, 学術研究院工学系, 准教授 (10239353)
|
|---|
| Project Period (FY) |
2018-04-01 – 2022-03-31
|
| Keywords | 複合現実 / ピアノ学習支援 / 手書き楽譜認識 / タッチタイピング学習支援 / 運指推定 / ギター学習支援 |
|---|
| Outline of Annual Research Achievements |
本研究の目的は、ピアノ演奏を対象として、効率の良い学習支援システムを構築することである。そのため、補助事業期間全体を通して、1. 複合現実を用いたピアノ演奏支援ツールの開発、2. ピアノ楽譜からの運指推定手法の考案、3. 模範演奏の指使いのCGアニメーション化、4. 手書き楽譜の自動認識ツールの開発を行ってきた。また、ピアノ演奏以外の技能学習支援への適用可能性を探るため、5. ギター演奏支援ツールの開発、6. キーボードのタッチタイピングを目指した学習支援ツールの開発にも着手した。令和3年度については、主に、上記1、2、5、6の項目について研究を行った。1については、今までのシステムでは、ピアノ演奏時の打鍵する指の誤りを検出できなかったが、HoloLens2（複合現実を実現するヘッドマウントディスプレイ）に備わるハンドトラッキング機能を用いることにより、打鍵する指を特定し、正誤判定を行う機能を追加した。2については、従来は隠れマルコフモデルを用いた運指推定手法が提案されていたが、深層学習を用いた手法を適用することにより、従来手法より精度の良い推定法を考案した。5については、MIDIギターを使用することにより、ユーザーが、どの弦を押さえたかを検出する機能を追加し、コード演奏時の正誤判定をできるようにしている。6については、従来のシステムでは、キーボードを押す指の正誤判定ができなかったため、HoloLens2のハンドトラッキング機能を用いて、それを可能とした。
|
