2019 Fiscal Year Research-status Report
A method of generating one-hand piano score for disabled persons of the hand and fingers
| Project/Area Number |
19K12248
|
|---|
| Research Institution | The University of Tokushima |
|---|
Principal Investigator |
大野 将樹 徳島大学, 大学院社会産業理工学研究部(理工学域), 講師 (90433739)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
獅々堀 正幹 徳島大学, 大学院社会産業理工学研究部(理工学域), 教授 (50274262)
|
|---|
| Project Period (FY) |
2019-04-01 – 2022-03-31
|
| Keywords | 楽譜生成 / DPマッチング / 隠れマルコフモデル / 運指モデル / 手指障害 / 演奏支援 |
|---|
| Outline of Annual Research Achievements |
令和元年度は，（1）片手演奏楽譜の収集及び分析，（2）音符アライメントプログラムの開発，および，（3）手指障害者向け運指モデルを開発・評価した．
（1）片手演奏楽譜の収集では，両手演奏楽譜561曲分および片手演奏楽譜95曲分を購入し，両手演奏楽譜と片手演奏楽譜の差異を分析することによって，人手による編曲の過程を明確化し，片手演奏楽譜は旋律の編曲箇所は少なく，伴奏は多く編曲されることを知見として得た．また，収集した楽譜をXML形式に変換し，後述する手指障害者向け運指モデルのパラメータ学習用データとして利用できるように整備した．
（2）音符アライメントプログラムの開発では，収集した同一楽曲の両手演奏楽譜と片手演奏楽譜について，同一時刻に演奏されている音符の対応を自動取得するため，DPマッチング法に基づく音符アラインメントプログラムを作成した．本プログラムにより，後述の手指障害者向け運指モデルを自動的に構築することが可能となった．
（3）手指障害者向け運指モデルの開発では，隠れマルコフモデルに基づいて片手演奏楽譜の運指モデルを構築した．両手演奏楽譜の音符列を隠れマルコフモデルの観測記号列に割り当て，片手演奏楽譜の音符列を隠れ状態系列に割り当てた．（1）で得た片手演奏楽譜は旋律より伴奏が多く編曲されるという知見に基づき，旋律と伴奏それぞれを個別にモデル化するアルゴリズムを考案し，実装・評価した．実験により，人手で編曲した両手楽譜に対して，提案手法は適合率0.79，再現率0.70という結果を得た．
本研究の成果を第18回情報科学技術フォーラムで発表した．次年度以降，本手法をベースライン手法として改善する．
|
| Current Status of Research Progress |
Current Status of Research Progress
1: Research has progressed more than it was originally planned.
Reason
本研究は当初計画よりも早く進捗している．当初計画では，令和元年度は，（1）片手演奏用楽譜の収集と分析に3ヶ月間，（2）音符アライメントプログラムの開発に3ヶ月間，（3）手指障害者向け運指モデルの開発に6ヶ月間要すると見積もっていたが，（1）は1ヶ月間，（2）は2ヶ月間，（3）は3ヶ月間で完了することができ，令和2年度に計画していた運指モデルの評価・修正を早期に実施することができた．
当初予期していなかったこととして，流通している片手演奏楽譜の数が少なく，隠れマルコフモデルのパラメータを推定するためには不足が生じた．片手演奏楽譜の数を補うため，一部は人手により片手演奏楽譜を編曲し，学習データに追加することで対応した．
|
| Strategy for Future Research Activity |
令和2年度は令和元年度に作成・評価した運指モデルをベースラインとして，提案手法を改善する．
提案手法の問題点として，旋律の運指モデルおよび伴奏の運指モデルは互いに独立であり，共起性が考慮されていないため，旋律と伴奏に不協和音が含まれる場合がある．旋律と伴奏の音価に対して，共起性を考慮するため，2つの隠れマルコフモデルの隠れ状態をリンクするLinked Hidden Markov Modelを採用し，新たな運指モデルを構築する．
また，ユーザビリティに関する被験者実験により，演奏困難な楽譜が生成されることが分かった．生成時に和音の構成音の音高差および打鍵間隔に関する制約を設け，この問題を解決することが新たな課題となる．
|
| Causes of Carryover |
旅費，人件費・謝金の支出が少額であったため，次年度使用額が生じた．旅費については，近隣の国内学会発表1件であったため少額となった．人件費・謝金については，片手用楽譜の電子化，編曲，および，評価を学内の研究協力者を得て実施したため，支出無しとなった．令和2年度は，次年度使用額を旅費および人件費・謝金に加え，国際会議発表および隠れマルコフモデルのパラメータ学習用データセットを拡充する．
|
Research Products
(1 results)
