2023 Fiscal Year Annual Research Report
Modeling of Physical Knowledge Acquisition Process using Piano Playing Support System
| Project/Area Number |
21K02846
|
|---|
| Research Institution | Kushiro National College of Technology |
|---|
Principal Investigator |
山田 昌尚 釧路工業高等専門学校, 創造工学科, 教授 (40220404)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
土江田 織枝 釧路工業高等専門学校, 創造工学科, 准教授 (10230723)
中村 栄太 京都大学, 白眉センター, 特定助教 (10707574)
峯 恭子 大阪大谷大学, 教育学部, 准教授 (90611187)
|
|---|
| Project Period (FY) |
2021-04-01 – 2024-03-31
|
| Keywords | 身体知 / 演奏支援 / ピアノ学習 / 隠れマルコフモデル / 教員評価 / 自己評価 / 形成的評価 |
|---|
| Outline of Annual Research Achievements |
本研究は，ピアノ初心者の練習演奏に関する定量的な分析を通じて，学習者や指導者に効果的な練習方法を提案することを目的としている。これまで，演奏の分析にはMIDIデータを使用していたが，分析できる対象を広げるため音響データも取り扱えるようにした。具体的には，学生の演奏を音響データとして記録し，最新の深層学習に基づく複数のオーディオ-MIDI変換手法を適用して比較検討することで，音符のピッチ，開始時間，終了時間を抽出した。その後，抽出されたMIDIデータを隠れマルコフモデル（HMM）を用いて楽譜とのアラインメントをとり，演奏の正確性を評価した。29名の学生のピアノ演奏データを使用し，音高間違いや弾き直し，リズムの不正確さなどの演奏ミスを定量化して，これらの要素と教員評価の関係を分析した。学生の学習成果試験の演奏をこの方法で分析した結果，演演間違い率と教員評価との間に強い相関が認められた。特にオーディオ-MIDI変換にPovNetを用いた場合は相関係数が0.86に達し，本研究で用いた評価スコアが教師の評価と高い一致を示した。あわせてリズムの一貫性を評価指標として検討した結果，弾き直しが繰り返されることや演奏が一時停止したことと教員評価との関係を示すことができ，これらの要素が評価の重要な指標であることがわかった。本研究の成果は，学習者に対する即時の個別フィードバック提供を可能とするため，特に演奏支援における形成的評価に用いることができると考えられる。
|
