| Project/Area Number |
22K00211
|
|---|
| Research Category |
Grant-in-Aid for Scientific Research (C)
|
| Allocation Type | Multi-year Fund |
|---|
| Section | 一般 |
|---|
| Review Section |
Basic Section 01070:Theory of art practice-related
|
|---|
| Research Institution | Saga University |
|---|
Principal Investigator |
大島 千佳 佐賀大学, 理工学部, 客員研究員 (10395147)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
中山 功一 佐賀大学, 理工学部, 准教授 (50418498)
|
|---|
| Project Period (FY) |
2022-04-01 – 2025-03-31
|
| Project Status |
Granted (Fiscal Year 2023)
|
| Budget Amount *help |
¥4,160,000 (Direct Cost: ¥3,200,000、Indirect Cost: ¥960,000)
Fiscal Year 2024: ¥1,170,000 (Direct Cost: ¥900,000、Indirect Cost: ¥270,000)
Fiscal Year 2023: ¥1,040,000 (Direct Cost: ¥800,000、Indirect Cost: ¥240,000)
Fiscal Year 2022: ¥1,950,000 (Direct Cost: ¥1,500,000、Indirect Cost: ¥450,000)
|
|---|
| Keywords | 手指の動きと音の表情 / 演奏技能の再現 / 自宅学習支援 / 離鍵速度 / 骨格画像 / ピアノ / 離鍵動作 / 技術習得 |
|---|
| Outline of Research at the Start |
本申請研究では，鍵の動きを操作する手指の動き（以下，表現技術）の重要性について科学的解析を行う．小型の無装着モーションキャプチャなどにより手指の各骨の座標の時系列変化を取得し,これにピアノ演奏熟達者の評価データを加えて，人工知能の機械学習の手法を駆使することで，その表現技術の適切さを自動判定できると考える．この自動判定する取組みは，次世代遠隔ピアノレッスンで表現技術を伝達する「楽器間IoT (Internet of Things)」技術開発の予備的知見となり得るとともに，教育の機会均等化に資する学術的研究である．
|
| Outline of Annual Research Achievements |
本研究の学術的問いは，ピアノの鍵を押すことで実行される「音の表情」に，奏者の手指の動きはどの程度影響を及ぼしているか，を解明することである．音の表情を創り出すことに対して，手指の動きは十分条件ではない．結果として適切な思い通りの音の表情を実現する打鍵・離鍵ができればよいので，打鍵前の手指の動きは限定されない．しかし，実際には一流のピアニストの映像では，手指の動きは多彩で，それにより多彩な音の表情を実現しているようにみえる．またピアノレッスンでも生徒が望みの音の表情を出せないときに，手指の動きから打鍵・離鍵を指導することも多々ある．そのような中，手指の動きを数値的に解析し，音の表情に大きく影響していることを科学的に示すことができれば，客観的に判り易い手指の動作を元にした，家庭でのピアノ学習に活用する意義が明確になる．
今年度は，機械学習を使って，手指の動きから12種類の音の表情のグループ分けが可能かを検証した．1人の奏者（研究代表者）が，3音から成る和音（ドミソ）を，12種類の音の表情でそれぞれ100回ずつ演奏し，手指の動きの動画を収録し，Google MediaPipeで検出されたランドマークの座標を取得した．同時にMIDIデータにより打鍵・離鍵時刻，打鍵・離鍵速度を取得し，想定した表情の音であるかを検証した．ランドマークの各座標データの8割を機械学習に使用し，残りの2割の座標はテストに使用した．その結果，F1は0.94～1.00，正解率は0.99であり，この学習モデルはランドマークの座標から12の異なる音の表情を推定できることがわかった．このことから，時系列における各ランドマークの座標値と音の表情とに関係があることがわかった．この結果は国際会議HCII2024（2024年6月末）で発表予定である．
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
本申請の中心となる実験を実施できた．
|
| Strategy for Future Research Activity |
本実験のデータを使って，意図しない音の表情になったときの，離鍵速度と手指の動きの解析を進める．さらに，ピアノの演奏表現を習得するための適切な支援方法を明らかにする．
|
