楽器演奏者の選曲を支援するための技術的要素を含む統合的な楽曲分析の研究

• Project/Area Number: 22K18016
• Research Category: Grant-in-Aid for Early-Career Scientists
• Allocation Type: Multi-year Fund
• Review Section: Basic Section 62040:Entertainment and game informatics-related
• Research Institution: University of Tsukuba (2023); National Institute of Informatics (2022)
• Principal Investigator: 飯野 なみ 筑波大学, 図書館情報メディア系, 助教 (50910444)
• Project Period (FY): 2022-04-01 – 2027-03-31
• Project Status: Granted (Fiscal Year 2023)
• Budget Amount: ¥4,550,000 (Direct Cost: ¥3,500,000、Indirect Cost: ¥1,050,000); Fiscal Year 2025: ¥1,300,000 (Direct Cost: ¥1,000,000、Indirect Cost: ¥300,000); Fiscal Year 2024: ¥1,300,000 (Direct Cost: ¥1,000,000、Indirect Cost: ¥300,000); Fiscal Year 2023: ¥1,170,000 (Direct Cost: ¥900,000、Indirect Cost: ¥270,000); Fiscal Year 2022: ¥780,000 (Direct Cost: ¥600,000、Indirect Cost: ¥180,000)
• Keywords: 運指推定 / 選曲支援 / 平均情報量 / 楽器演奏者 / クラシックギター

Outline of Research at the Start

演奏技能の習得において，楽器演奏者に個人適応した選曲が求められる.本研究では，楽器演奏者の選曲を支援するための技術的要素を含む統合的な楽曲分析を行い,コンサートやコンクールなどの演奏現場に適した選曲戦略の指針となる楽曲評価指標の提示を目指す.具体的には,クラシックギターを対象として，次の課題を解決する.(1)技術的要素の抽出:楽譜情報から運指を推定し，演奏動作に関する要素を抽出する.(2)楽曲分析結果の統合:楽曲の音楽的要素と技術的要素の分析結果を結びつけ，演奏者視点による選曲指標を検討する.これらにより,楽譜を媒体とした楽曲分析の高度化や音楽教育に適した楽曲推薦サービスへの展開が期待できる.

Outline of Annual Research Achievements

2023年度は、課題の一つである「運指の推定」に注力した。まず、既存研究のヴァイオリン用に確立された運指推定モデルを活用して、クラシックギターに適用したモデルを構築できるか試みた。このモデルは単旋律の運指推定のために作られたものであるため、単旋律４弦→複旋律6弦に適用できるかが課題であった。結果として、クラシックギターの弦の数やポジション、使用する指に関する要素は考慮できたが、複旋律に適用させることはできなかった。確立場を扱ったモデルでは、取りうる運指の組合せにおいて、それらの押弦コストや遷移コストを複旋律に対応させるには、要素が不十分であった。
そこで、昨今のAI動向を鑑み、大規模な運指データの収集と機械学習による運指の推定にアプローチを変更した。まず、自身の先行研究で収集済みのギター曲106曲を対象として、左手の運指データの作成を行なった。具体的には、音楽ソフトMuseScoreを用いて左手の運指を入力する方法であり、クラシックギターの知識がある専門家に作業を依頼した。現在、40曲以上の運指情報を含む楽曲データが得られている。次に、得られた楽曲データをもとに、ギターの運指情報を可視化し、3分程度の曲であれば1500枚程度の画像が出力できるようなモデルを生成した。これにより、時系列画像による機械学習が可能になる。2024年度は、運指データのさらなる追加とともに、機械学習を用いた運指予測を行い、「運指の推定」を達成する。

Current Status of Research Progress

3: Progress in research has been slightly delayed.

Reason

既存研究の調査や分析、運指予測モデルの適用方法の試行に時間を要したため、新しいアプローチによる運指推定がまだ達成できていない。スケジュール通り、2024年も課題として「運指の推定」を予定しているが、同時に次の課題である「情報理論に基づく楽曲分析」も実施しなければならないため、早急に運指推定モデルを構築する必要がある。

Strategy for Future Research Activity

課題ごとの推進方策を述べる。
(1)運指の推定：研究実績の概要で詳細を述べた。2024年度の前半には機械学習による推定モデルの確立を目指す。
(2)情報理論に基づく楽曲分析：2024年度に実施する。分析する楽曲は、研究実績の概要で述べた106曲を目標とする。なお、音高や音価については、先行研究で分析・蓄積したデータがあるため、それらを利用する。重要な点は、(1)で得られた運指や、使用する弦、といった付加情報の分析であり、それらの平均情報量を自動的に算出するためのモデルを構築する。
(3)楽曲分析結果の統合：2025年度に取り組む。問題は、(1)と(2)から得られた結果を、どのように解釈し、演奏者が理解しやすい形に表現にするかである。これは実施年度だけで完結するものではなく、継続可能な議論が必要であると考えている。そのため、まずは解釈方法の一案の提唱を行うとともに、データセットの構築と公開を目指す。その後、複数のギター奏者との議論を行う。