2021 Fiscal Year Research-status Report
自動楽曲推薦・編曲とタテ線譜・自動伴奏システムによる中高齢者のピアノ演奏支援
| Project/Area Number |
21K12187
|
|---|
| Research Institution | Kisarazu National College of Technology |
|---|
Principal Investigator |
齋藤 康之 木更津工業高等専門学校, 情報工学科, 准教授 (40331996)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
金子 仁美 桐朋学園大学, 音楽学部, 教授 (00408949)
中村 栄太 京都大学, 白眉センター, 特定助教 (10707574)
饗庭 絵里子 電気通信大学, 大学院情報理工学研究科, 准教授 (40569761)
|
|---|
| Project Period (FY) |
2021-04-01 – 2024-03-31
|
| Keywords | ピアノ運指データベース / ピアノ鍵盤分類器 / 半自動指位置追跡 |
|---|
| Outline of Annual Research Achievements |
ピアノ演奏では、適切な運指の習得が基礎的な演奏技能と考えられている。ピアノ運指の原理を情報学的に理解する目的で自動運指推定が研究されており、ピアノ運指分析は、演奏支援や編曲技術などにも応用されている。運指の定量分析や機械学習による運指推定手法の研究には、電子化された大量の運指のデータが必要である。以前の基盤研究C（課題番号16K00501）において、クラシック音楽300曲のピアノ運指を収めた現在最大規模の公開データ「PIGデータセット」を構築した。10名の演奏家には印刷した楽譜の1つ1つの音符に運指番号を記入してもらい、自作の専用入力エディタを用いてこれも手作業でコンピュータに入力して電子化した。各楽曲の典型的な長さは楽譜1ページ程度で、小節数は約20、音符数は約300であるが、楽譜への記入・コンピュータへの入力の双方ともに相応の時間と労力を要した。
これに対し、本研究では、ピアノ演奏をビデオカメラで撮影し、運指を自動的に効率よく取得する基礎技術について検討した。まず、ピアノ鍵盤分類器のプロトタイプを構築した。これは画像処理ライブラリOpenCVで用い、画像・映像内のピアノ鍵盤の位置を検出するものである（現在、画像内の顔の高精度な位置検出のための分類器が実現されているが、そのピアノ鍵盤版である）。現状、検出の安定性や精度には改善の余地があるが、基本的な分類器の構築方法や有用性について確認できた。また、マーカを用いた指位置検出の基礎検討も行った。塗布するとゴム状に固まる塗料（人体には無害）を指に塗り、映像の初期画像フレームにて手動でその色領域内の1点をマウスでクリックし、以降の画像フレームでその色領域を追跡するプログラムを構築した。色領域は複数指定できる。各指に異なる色の塗料を塗ることで、どの指で鍵を打鍵したのかを推定できる目途が立った。
|
| Current Status of Research Progress |
Current Status of Research Progress
3: Progress in research has been slightly delayed.
Reason
ピアノ鍵盤分類器の構築はプロトタイプに留まり，安定性や精度に改善の余地がある．鍵を打鍵した指を推定して自動的に運指番号を取得するプログラムの構築は，未だ完成には至っていない．
また，COVID-19 の影響により，演奏データ収集が思うように進まなかった．
|
| Strategy for Future Research Activity |
ピアノ鍵盤分類器によるピアノ鍵盤の検出の安定化と精度向上を目指す．その上で，指がどの鍵の上に位置しているのかを自動的に推定する方法を確立する．
奏者の手に何も付着せずに指位置を自動的に検出できることが理想的ではあるが，マーカを用いることやある程度の手動による補助処理を含めることとして指の位置検出を確実にし，従来の方法と比較してピアノ運指データを効率よく取得ことを最優先し，データ収集を加速させることも考えている．
従来の楽譜への記入による方法から，電子ピアノを用いた演奏の録画・MIDI情報の記録に変更することで，音量などの動的な情報を含んだピアノ運指データベースへ拡張する．
|
| Causes of Carryover |
当初，高速演算サーバの購入を予定していたが，COVID-19 蔓延の影響による部材の物品供給量の低下により，購入できなかった．同様に，演奏データ取得が思うように進まず，謝金の支給も抑えられた．今年度は早期の機器購入・データ取得実験の実施により予算を執行する予定である．
|
| Remarks |
第132回情報処理学会音楽情報科学研究会 Best New Direction部門 ベストプレゼンテーション賞：中村 栄太, 持橋 大地, 齋藤 康之,“統計学習を介する文化進化のモデルと音楽・文芸・絵画データにおける共役分布則”, Sep. 2021.
|
Research Products
(4 results)
