自動楽曲推薦・編曲とタテ線譜・自動伴奏システムによる中高齢者のピアノ演奏支援
| Project/Area Number |
21K12187
|
|---|
| Research Category |
Grant-in-Aid for Scientific Research (C)
|
| Allocation Type | Multi-year Fund |
|---|
| Section | 一般 |
|---|
| Review Section |
Basic Section 62030:Learning support system-related
|
|---|
| Research Institution | Kisarazu National College of Technology |
|---|
Principal Investigator |
齋藤 康之 木更津工業高等専門学校, 情報工学科, 准教授 (40331996)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
金子 仁美 東京藝術大学, 大学院音楽研究科, 准教授 (00408949)
中村 栄太 京都大学, 白眉センター, 特定助教 (10707574)
饗庭 絵里子 電気通信大学, 大学院情報理工学研究科, 准教授 (40569761)
|
|---|
| Project Period (FY) |
2021-04-01 – 2024-03-31
|
| Project Status |
Granted (Fiscal Year 2022)
|
| Budget Amount *help |
¥4,030,000 (Direct Cost: ¥3,100,000、Indirect Cost: ¥930,000)
Fiscal Year 2023: ¥1,300,000 (Direct Cost: ¥1,000,000、Indirect Cost: ¥300,000)
Fiscal Year 2022: ¥1,170,000 (Direct Cost: ¥900,000、Indirect Cost: ¥270,000)
Fiscal Year 2021: ¥1,560,000 (Direct Cost: ¥1,200,000、Indirect Cost: ¥360,000)
|
|---|
| Keywords | ピアノ運指データベース / ピアノ演奏動画像解析 / ピアノ鍵盤分類器 / 半自動指位置追跡 / 自動楽曲推薦・編曲 / タテ線譜 / 自動伴奏システム / 中高齢者のピアノ演奏支援 |
|---|
| Outline of Research at the Start |
先端情報処理技術と統計学習理論に基づいて、ピアノ演奏の学習過程の効率化を研究する。本研究のキーポイントは、(1)誰でも読譜できる「タテ線譜」を中高齢者に適用すること、(2)急速に発展中の統計機械学習を用いた音楽情報処理に必要な大規模演奏データを獲得・分析すること、(3)演奏計算モデルに基づく奏者の個人性に応じた学習効率最適化により楽曲推薦することである。これらより、中高齢者の個人に最適な練習楽曲集を提示し、ピアノ演奏の継続による認知症予防などが見込まれる。情報学・音楽心理学・音楽教育学の研究者の共同体制の下で取り組む、一般性の高い理論に基づく学習効率化の先駆的な試みである。
|
| Outline of Annual Research Achievements |
ピアノ演奏では、適切な運指の習得が基礎的な演奏技能と考えられている。ピアノ運指の原理を情報学的に理解する目的で自動運指推定が研究されており、ピアノ運指分析は、演奏支援や編曲技術などにも応用されている。運指の定量分析や機械学習による運指推定手法の研究には、電子化された大量の運指のデータが必要である。以前の基盤研究C（課題番号16K00501）において、クラシック音楽300曲のピアノ運指を収めた現在最大規模の公開データ「PIGデータセット」を構築した。10名の演奏家には印刷した楽譜の1つ1つの音符に運指番号を記入してもらい、自作の専用入力エディタを用いてこれも手作業でコンピュータに入力して電子化した。各楽曲の典型的な長さは楽譜1ページ程度で、小節数は約20、音符数は約300であるが、楽譜への記入・コンピュータへの入力の双方ともに相応の時間と労力を要した。
これに対し、本研究では、前年度に引き続き、ピアノ演奏をビデオカメラで撮影して運指を自動的に効率よく取得する基礎技術について検討した。2021年度は、塗布するとゴム状に固まる塗料（人体には無害）を用いて指ごとに異なる色で塗り、どの指で鍵を打鍵したのかを推定する方法を検討した。これに対し、2022年度は、オープンソースの画像処理ライブラリ「MediaPipe」と「OpenCV」を用い、塗料の指への塗布を無くすことでピアノ奏者の簡便な実験参加を可能とし、それによる自然な演奏の映像取得を目指した。具体的には、MediaPipe の手指の追跡ソリューションである「MediaPipe Hands」とOpenCV のcontrib 内の「ArUco」モジュールを複合させ、映像内のピアノの見かけ上の傾きや位置を補正し、奏者の指の位置を検出できた。
|
| Current Status of Research Progress |
Current Status of Research Progress
3: Progress in research has been slightly delayed.
Reason
手指の特徴点は取得できたものの、どの指でどの鍵を打鍵したのかという対応づけまで自動的に推定するプログラムの構築には至っていない。
また、COVID-19 の影響により、演奏データ収集が思うように進まなかった。
|
| Strategy for Future Research Activity |
ピアノ演奏の動画像からの指や鍵盤の検出の安定化と精度向上を目指すとともに、指がどの鍵の上に位置しているのかを自動的に推定する方法を確立する。
従来の楽譜への記入による方法から、電子ピアノを用いた演奏の録画・MIDI情報の記録に変更し、音量などの動的な情報を含んだピアノ運指データベースへ拡張し、新しいPIG dataset の公開を目指す。
|
Report
(2 results)
Research Products
(17 results)
