2021 Fiscal Year Research-status Report
Modeling of Physical Knowledge Acquisition Process using Piano Playing Support System
| Project/Area Number |
21K02846
|
|---|
| Research Institution | Kushiro National College of Technology |
|---|
Principal Investigator |
山田 昌尚 釧路工業高等専門学校, 創造工学科, 教授 (40220404)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
土江田 織枝 釧路工業高等専門学校, 創造工学科, 准教授 (10230723)
中村 栄太 京都大学, 白眉センター, 特定助教 (10707574)
峯 恭子 大阪大谷大学, 教育学部, 准教授 (90611187)
|
|---|
| Project Period (FY) |
2021-04-01 – 2024-03-31
|
| Keywords | 演奏支援 / 隠れマルコフモデル / アライメント / 演奏間違い |
|---|
| Outline of Annual Research Achievements |
本研究の目的のひとつであるピアノ演奏技能習得過程のモデル化を実現するために，多数のピアノ初級学習者の長期的な練習演奏記録を対象として包括的・定量的な分析を行った。この分析の前段階として演奏と楽譜を対応付けるための楽曲検索を行うが，ピアノ初級者の演奏は誤りが多くかつ断片的であるため，人間でも必ずしも楽曲の判定が容易ではなく，検索結果の信頼度を求めることやそれに基づいて信頼できる演奏区間を検出すること自体が問題となる。そこで本研究では隠れマルコフモデル(HMM)を用いて演奏データと楽譜データのアライメントをとってUniquenessとReliabilityと呼ぶ2つの指標を用いて適合度（信頼度）の指標を構成した。このようにHMMを楽曲検索に使用することで，演奏誤りに対応できること，信頼度も計算できること，演奏誤り認識も同時に行えることなどのメリットがある。従来の楽曲検索の研究のなかでも弾き直しや楽曲の切り替えなど多い演奏を含むデータを対象とすることはあまり行われておらず，本研究の成果はその可能性を示している点において意義が大きいといえる。
これをもとに練習演奏データとしてピアノ初級学習者68人の1年間にわたる，のべ816.8時間の演奏録音を分析した結果，演奏セグメントには人間の聴取でも楽曲を判断できないものが少なくないことがわかった。これは楽曲推定上の困難となりうるが，上記のUniquenessとReliabilityの値をもとに対象演奏データを絞り込むことで，検索率を向上させ，演奏者および楽曲ごとの練習時間を調べることができた．その結果，平均演奏時間と平均音符数がともに増加する傾向があることがわかった。これは演奏者全体がピアノ演奏技能を徐々に習得してミスや弾き直しなどが減少し，平均演奏時間が増加傾向になった可能性がある．
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
本研究課題で計画している内容は，演奏データの記録，楽譜と演奏データのアライメント，演奏技能習得モデルの作成，演奏支援システムの構築と使用，演奏データの分析とその結果の提供，および学習者のメタ認知および指導者の所見とデータの照合である。
演奏データの記録については実施を予定していたグループ授業がコロナ禍で遠隔授業になったため令和3年度は実施できなかった。楽譜と演奏データのアライメントについては，HMMを用いてUniquenessとReliabilityと呼ぶ指標を構成することで適合度（信頼度）にもとづく分析ができるようになった。演奏技能習得モデルの作成についてはピアノ初級学習者68人の1年間にわたる，のべ816.8時間の演奏録音を分析の演奏を統計的に分析できたことで，演奏技能習得モデルを作成する基盤を実現できた。演奏支援システムの構築と使用，演奏データの分析とその結果の提供および学習者のメタ認知および指導者の所見とデータの照合については情報収集および準備を進めている段階である。
|
| Strategy for Future Research Activity |
演奏データの記録は，令和3年度は実施できなかったが令和4年度から実施できる見込みである。楽譜と演奏データのアライメントについては必要に応じて精度の向上などを図っていく。集団としての演奏データの経時的変化にもとづく演奏技能習得モデルの作成については，前年度は演奏全体からのマクロ的な分析を行ったのに対して令和4年度は個々の演奏データから演奏誤りの分析などミクロ的なアプローチを進め，最終的には総合的な分析とする予定である。打鍵ミスの数，リズムの正確さ，和音の発音同時性などの演奏ミスを可視化し，演奏者にフィードバックするシステム演奏支援システムの構築については令和5年度からの使用を目指して開発を進める。演奏データの分析とその結果の提供および学習者のメタ認知および指導者の所見とデータの照合は，上記の結果をもとにするため，令和5年度に実施予定である。
|
| Causes of Carryover |
コロナ禍により，予定していた演奏データ収集や研究打ち合わせ，学会発表等が制約され，一部の計画を先送りしたため。
|
