A method of generating one-hand piano score for disabled persons of the hand and fingers

2020 Fiscal Year Research-status Report

• Project/Area Number: 19K12248
• Research Institution: The University of Tokushima
• Principal Investigator: 大野 将樹 徳島大学, 大学院社会産業理工学研究部(理工学域), 講師 (90433739)
• Co-Investigator(Kenkyū-buntansha): 獅々堀 正幹 徳島大学, 大学院社会産業理工学研究部(理工学域), 教授 (50274262)
• Project Period (FY): 2019-04-01 – 2022-03-31
• Keywords: 楽譜生成 / 隠れマルコフモデル / Linked隠れマルコフモデル / 手指障害 / 演奏支援

Outline of Annual Research Achievements

令和2年度は，（1）手指障害者向け運指モデルの開発・改善，および，（2）運指モデルの評価・修正を行なった．令和元年度に考案した「隠れマルコフモデルに基づく片手演奏楽譜生成モデル」は，両手演奏楽譜の音符列を隠れマルコフモデルの観測記号列に割り当て，片手演奏楽譜の音符列を隠れ状態系列に割り当てたものである．片手演奏楽譜の収集および分析で得られた「片手演奏楽譜は旋律より伴奏が多く編曲される」という知見に基づき，旋律と伴奏それぞれを個別にモデル化（旋律生成モデル，伴奏生成モデルを構築）していた．しかし，このアプローチは，旋律と伴奏が無関係に生成されるため，不協和音を含む楽譜が生成されやすいことが予備実験により明らかとなった．
（1）手指障害者向け運指モデルの開発・改善では，旋律モデルと伴奏モデルの隠れ状態系列同士の共起確率を考慮した「Linked隠れマルコフモデル」を考案し，不協和音の生成を低減した．
（2）運指モデルの評価・修正では，令和元年度に収集した両手演奏楽譜561曲，および，片手演奏楽譜95曲を用いて，Linked隠れマルコフモデルを構築し，楽譜生成精度を検証した．実験により，通常の隠れマルコフモデルと比較して不協和音が生成される確率が低くなることを確認した．また，Linked隠れマルコフモデルのパラメータを学習する際の教師データとなる片手用楽譜が少ないため，過学習が起こり，未知データに対する汎化性能が低下することが明らかになった．

Current Status of Research Progress

2: Research has progressed on the whole more than it was originally planned.

Reason

本研究は，おおむね順調に進展している．当初計画では，令和元年度に(1)片手演奏用楽譜の収集と分析に3ヶ月間，(2)音符アライメントプログラムの開発に3ヶ月間，(3)手指障害者向け運指モデルの開発に6ヶ月間要すると見積もっていたが，(1)は1ヶ月間，(2)は2ヶ月間，(3)は3ヶ月間で完了することができ，令和2年度に計画していた運指モデルの評価・修正を早期に実施することができた．これにより，開発した運指モデルの問題点が明らかとなり，Linked隠れマルコフモデルによる楽譜生成精度の改善が可能となった．

Strategy for Future Research Activity

令和2年度に考案したLinked隠れマルコフモデルは，旋律モデルと伴奏モデルの共起確率を考慮することにより，通常の隠れマルコフモデルと比較して不協和音が生成されにくくなるという成果を得た．しかし，予備実験により，運指モデルの学習に用いる教師データ（片手用楽譜）が少なく，過学習を起こすという問題が明らかになった．
令和3年度は，教師データとして両手用楽譜のみを用いることにより，過学習を起こしにくくする手法を考案し，評価システムを開発する．

Causes of Carryover

新型コロナウイルス感染症の影響により旅費・人件費・謝金の支出がなかったため，次年度使用額が生じた．令和3年度は，次年度使用額を旅費および人件費・謝金に加え，国際会議発表および隠れマルコフモデルのパラメータ学習用データセットを拡充する.