自動楽曲推薦・編曲とタテ線譜・自動伴奏システムによる中高齢者のピアノ演奏支援
| Project/Area Number |
21K12187
|
|---|
| Research Category |
Grant-in-Aid for Scientific Research (C)
|
| Allocation Type | Multi-year Fund |
|---|
| Section | 一般 |
|---|
| Review Section |
Basic Section 62030:Learning support system-related
|
|---|
| Research Institution | Kisarazu National College of Technology |
|---|
Principal Investigator |
齋藤 康之 木更津工業高等専門学校, 情報工学科, 准教授 (40331996)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
金子 仁美 東京藝術大学, 音楽学部, 准教授 (00408949)
中村 栄太 京都大学, 白眉センター, 特定助教 (10707574)
饗庭 絵里子 電気通信大学, 大学院情報理工学研究科, 准教授 (40569761)
|
|---|
| Project Period (FY) |
2021-04-01 – 2025-03-31
|
| Project Status |
Granted (Fiscal Year 2023)
|
| Budget Amount *help |
¥4,030,000 (Direct Cost: ¥3,100,000、Indirect Cost: ¥930,000)
Fiscal Year 2023: ¥1,300,000 (Direct Cost: ¥1,000,000、Indirect Cost: ¥300,000)
Fiscal Year 2022: ¥1,170,000 (Direct Cost: ¥900,000、Indirect Cost: ¥270,000)
Fiscal Year 2021: ¥1,560,000 (Direct Cost: ¥1,200,000、Indirect Cost: ¥360,000)
|
|---|
| Keywords | ピアノ運指 / データベース / ピアノ運指データベース / ピアノ演奏動画像解析 / ピアノ鍵盤分類器 / 半自動指位置追跡 / 自動楽曲推薦・編曲 / タテ線譜 / 自動伴奏システム / 中高齢者のピアノ演奏支援 |
|---|
| Outline of Research at the Start |
先端情報処理技術と統計学習理論に基づいて、ピアノ演奏の学習過程の効率化を研究する。本研究のキーポイントは、(1)誰でも読譜できる「タテ線譜」を中高齢者に適用すること、(2)急速に発展中の統計機械学習を用いた音楽情報処理に必要な大規模演奏データを獲得・分析すること、(3)演奏計算モデルに基づく奏者の個人性に応じた学習効率最適化により楽曲推薦することである。これらより、中高齢者の個人に最適な練習楽曲集を提示し、ピアノ演奏の継続による認知症予防などが見込まれる。情報学・音楽心理学・音楽教育学の研究者の共同体制の下で取り組む、一般性の高い理論に基づく学習効率化の先駆的な試みである。
|
| Outline of Annual Research Achievements |
ピアノ運指情報の取得を目指し，カメラ映像内のピアノ鍵盤の位置推定方法について検討した．ピアノ鍵盤を含む正解画像と，含まない不正解画像を準備し，機械学習の枠組みで，上から撮影したシーン内のピアノ鍵盤の位置を推定する方法について取り組んだ．照明位置の変化も含む，いくつかのシーンからピアノ鍵盤の周囲を手動で切り取った画像を入力したところ，大まかな位置を推定するに留まり，ピアノ鍵盤の外周の正確な認識には至っていない．また，ピアノの周囲の床も含めた自然なシーンを入力した場合は，ピアノ鍵盤を全く検出できないなど，課題が残った．
学会発表などにはまだ至っていないが，ウェアラブルキーボード「Tap Strap 2」を用いたピアノ運指情報の取得にも取り組んだ．通常は指のタップにより英文字が入力できるが，Shift や特殊機能のためのSwitch の組み合わせにより大文字や数字なども入力できる．ところが，Shift やSwitch の場合は，タップ動作をした瞬間にはキーコードが出力されないので，特にそれらの指の組み合わせによるタップ動作が連続した場合は，タップした正確な時刻情報の取得は困難である．これに対し，「RAWモード」という特別なモードにおいては0〜31の数値がそのまま出力されることが分かり，指の組み合わせに対する正しいコードが比較的精度よく出力され，非常に小規模かつ奏者への負担の少ないシステムによって動的にピアノ運指情報を取得できる目処がたった．
また，メロディや和音進行などに関する研究について取り組むなど，音楽学とその周辺分野におけるコンピュータを用いた音楽情報処理を中心に検討を進めた．
|
| Current Status of Research Progress |
Current Status of Research Progress
4: Progress in research has been delayed.
Reason
効率のよいピアノ運指取得方法の整備が遅れており，それに伴い，演奏データの収集が遅れている．そのため，データセット構築やデータ分析も進んでいない状況である．
|
| Strategy for Future Research Activity |
天井付近からのビデオ映像解析による運指情報の取得方法や，ウェアラブルキーボードを用いた運指情報の取得方法の研究が進んでおり，実演奏からの運指情報の円滑な取得が整備されつつある．
以前に構築して公開しているピアノ運指データセット（PIG dataset）は，ピアノ演奏家によって楽譜に運指を書き込んでもらうという方法であった．これに対し，現在 取り組んでいる方法では，奏者に演奏してもらうだけで運指情報を取得できるだけでなく，音量やペダリングといった動的な情報も同時に取得できる．この方法により，内容を拡充した「PIG dataset 2」の構築・公開を目指す．
|
Report
(3 results)
Research Products
(34 results)
