A method of generating one-hand piano score for disabled persons of the hand and fingers
| Project/Area Number |
19K12248
|
|---|
| Research Category |
Grant-in-Aid for Scientific Research (C)
|
| Allocation Type | Multi-year Fund |
|---|
| Section | 一般 |
|---|
| Review Section |
Basic Section 62030:Learning support system-related
|
|---|
| Research Institution | The University of Tokushima |
|---|
Principal Investigator |
OHNO Masaki 徳島大学, 大学院社会産業理工学研究部(理工学域), 講師 (90433739)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
獅々堀 正幹 徳島大学, 大学院社会産業理工学研究部(理工学域), 教授 (50274262)
|
|---|
| Project Period (FY) |
2019-04-01 – 2022-03-31
|
| Project Status |
Completed (Fiscal Year 2021)
|
| Budget Amount *help |
¥4,290,000 (Direct Cost: ¥3,300,000、Indirect Cost: ¥990,000)
Fiscal Year 2021: ¥780,000 (Direct Cost: ¥600,000、Indirect Cost: ¥180,000)
Fiscal Year 2020: ¥1,560,000 (Direct Cost: ¥1,200,000、Indirect Cost: ¥360,000)
Fiscal Year 2019: ¥1,950,000 (Direct Cost: ¥1,500,000、Indirect Cost: ¥450,000)
|
|---|
| Keywords | 手指障害支援 / 演奏支援 / 音楽生成 / 楽譜生成 / 機械学習 / 隠れマルコフモデル / Linked隠れマルコフモデル / 伴奏選択モデル / 手指障害 / DPマッチング / 運指モデル / 学習支援 |
|---|
| Outline of Research at the Start |
本研究では、健常者向け楽譜を手指障害者向け楽譜へ自動変換するアルゴリズムを確立する。楽器を演奏することは、豊かな生活を送るための手段のひとつであり、手指障害者においても同様である。しかし、障害がどの指にあるかを考慮して編曲された手指障害者向けの楽譜は少ないため、健常者との間に生活の質の差が生じている。従来研究には、楽器の初学者や視覚障害者を対象とした演奏支援システムが提案されているが、手指障害者を対象とするものはでない。本研究では、隠れマルコフモデルに基づいて手指障害者向け楽譜の運指モデルを構築し、健常者向け楽譜を手指障害者向け楽譜へ自動変換する。
|
| Outline of Final Research Achievements |
In the first year, the "HMM-based one-handed musical score generation model" was proposed, in which note sequences of two-handed musical scores were assigned to HMM observation symbol sequences and note sequences of one-handed musical scores were assigned to hidden state sequences, and melody and accompaniment were modeled separately. In the next year, we proposed a "Linked HMM" that takes into account the co-occurrence probability between the hidden state sequences of the melody generation model and the accompaniment generation model, and was able to reduce the generation of dissonance. In the final year, an "accompaniment selection model" was proposed to select an accompaniment series that maximizes the probability of generating the main melody series, thereby solving the problem of generating dissonant or unnatural rhythmic accompaniments.
In the evaluation experiment, reproducibility and audibility were obtained with an F-measure of 0.29 and 3.75, respectively.
|
| Academic Significance and Societal Importance of the Research Achievements |
楽器を演奏することは、豊かな生活をおくるための手段の一つであるが、手指障害者が演奏しやすいように編曲された楽譜は少ないため、健常者との間に差が生じていた。本研究では、隠れマルコフモデルを用いて手指障害者向け楽譜の運指モデルを構築し、両手演奏楽譜を片手演奏楽譜へ自動変換する技術を考案した。本研究は、手指障害者の楽器演奏を支援するシステムとして、国内外で初めての取り組みであり、教育・医療・福祉分野に対する貢献が期待できる。
|
Report
(4 results)
Research Products
(2 results)
