2020 Fiscal Year Research-status Report
| Project/Area Number |
18K11564
|
|---|
| Research Institution | Shinshu University |
|---|
Principal Investigator |
宮尾 秀俊 信州大学, 学術研究院工学系, 准教授 (10239353)
|
|---|
| Project Period (FY) |
2018-04-01 – 2022-03-31
|
| Keywords | 複合現実 / ピアノ学習支援 / 手書き楽譜認識 / タッチタイピング学習支援 |
|---|
| Outline of Annual Research Achievements |
本研究の目的は、ピアノ演奏を対象として、効率の良い学習支援システムを構築することである。そのため、令和2年度は、1. 複合現実技術を用いたピアノ演奏支援ツールの改良、2. 手書き楽譜の自動認識ツールの開発、3. キーボードのタッチタイピングを目指した学習支援ツールの開発と検証の3点について研究を行った。1については、前年度のシステムで作成した3次元指モデルを用い、これから打鍵すべき指に色を付けて表示する等、ピアノ演奏における運指を学習できるシステムを構築した。また、打鍵のタイミングと打鍵すべき鍵盤の位置に関して、正解データと比較して可視化し、ユーザーの学習に活かす機能を組み込んだ。2については、ペンタブレット等で手書き入力した楽譜記号をCNN(Convolutional Neural Network)とRNN(Recurrent Neural Network)を用いて学習・認識する手法を提案し、多段構成の楽譜の記号を認識できる可能性を示した。一方、3については、複合現実技術をピアノ演奏以外の学習支援に適用できるか、その可能性を探るため、タイピング学習の支援を試みてみた。ARマーカーをキーボードの横に設置し、マイクロソフトのHoloLens2（複合現実技術を実現する透過型ヘッドマウントディスプレイ）を用いて、キーボードの3次元位置をリアルタイムに計測し、これから押すべきキーボードのキートップを光らせるとともに、使用すべき指に色をつけて表示した。また、間違ったキーを打鍵した場合には、ブザーで知らせるとともに、正解のキーを強調表示する演出を加えた。被験者への実験から、複合現実技術をタッチタイピングの学習支援にも適用できる可能性を示すことができた。
|
| Current Status of Research Progress |
Current Status of Research Progress
3: Progress in research has been slightly delayed.
Reason
当初、実施する予定であった「各種データの収集」、「各学習者に合わせた運指の推定」部分の実施が不十分であるため、やや進捗が遅れている状況である。
|
| Strategy for Future Research Activity |
今後は「タブレットPC上での筆記環境の構築」、「各種データの収集」、「複合現実を用いた学習支援システムの構築（特に、運指の誤りに対する可視化表現の部分）」、「各学習者に合わせた運指の推定とアニメーションの生成」、「楽譜情報・ビデオ映像・演奏データの相互関連付けによる学習支援」の観点から研究を進めていく予定である。その後、実装した学習支援システムを実際の被験者に試用してもらい、各種機能の使い勝手、精度等を検証する予定である。
|
| Causes of Carryover |
（次年度使用額が生じた理由）当初計画では、令和2年度に国際学会での成果発表を予定していたが、研究の進捗状況により、令和3年度に実施することとしたため、次年度使用額が生じた。
（使用計画）次年度使用額は、令和3年度請求額と合わせて国際学会での成果発表のための費用、消耗品費、人件費・謝金として使用する。
|
