2023 Fiscal Year Research-status Report
小型モーションキャプチャによる"音の表情"を創る手指の動きの重要性の解明
| Project/Area Number |
22K00211
|
|---|
| Research Institution | Saga University |
|---|
Principal Investigator |
大島 千佳 佐賀大学, 理工学部, 客員研究員 (10395147)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
中山 功一 佐賀大学, 理工学部, 准教授 (50418498)
|
|---|
| Project Period (FY) |
2022-04-01 – 2025-03-31
|
| Keywords | 手指の動きと音の表情 |
|---|
| Outline of Annual Research Achievements |
本研究の学術的問いは，ピアノの鍵を押すことで実行される「音の表情」に，奏者の手指の動きはどの程度影響を及ぼしているか，を解明することである．音の表情を創り出すことに対して，手指の動きは十分条件ではない．結果として適切な思い通りの音の表情を実現する打鍵・離鍵ができればよいので，打鍵前の手指の動きは限定されない．しかし，実際には一流のピアニストの映像では，手指の動きは多彩で，それにより多彩な音の表情を実現しているようにみえる．またピアノレッスンでも生徒が望みの音の表情を出せないときに，手指の動きから打鍵・離鍵を指導することも多々ある．そのような中，手指の動きを数値的に解析し，音の表情に大きく影響していることを科学的に示すことができれば，客観的に判り易い手指の動作を元にした，家庭でのピアノ学習に活用する意義が明確になる．
今年度は，機械学習を使って，手指の動きから12種類の音の表情のグループ分けが可能かを検証した．1人の奏者（研究代表者）が，3音から成る和音（ドミソ）を，12種類の音の表情でそれぞれ100回ずつ演奏し，手指の動きの動画を収録し，Google MediaPipeで検出されたランドマークの座標を取得した．同時にMIDIデータにより打鍵・離鍵時刻，打鍵・離鍵速度を取得し，想定した表情の音であるかを検証した．ランドマークの各座標データの8割を機械学習に使用し，残りの2割の座標はテストに使用した．その結果，F1は0.94～1.00，正解率は0.99であり，この学習モデルはランドマークの座標から12の異なる音の表情を推定できることがわかった．このことから，時系列における各ランドマークの座標値と音の表情とに関係があることがわかった．この結果は国際会議HCII2024（2024年6月末）で発表予定である．
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
本申請の中心となる実験を実施できた．
|
| Strategy for Future Research Activity |
本実験のデータを使って，意図しない音の表情になったときの，離鍵速度と手指の動きの解析を進める．さらに，ピアノの演奏表現を習得するための適切な支援方法を明らかにする．
|
