2022 Fiscal Year Research-status Report
小型モーションキャプチャによる"音の表情"を創る手指の動きの重要性の解明
| Project/Area Number |
22K00211
|
|---|
| Research Institution | Saga University |
|---|
Principal Investigator |
大島 千佳 佐賀大学, 理工学部, 客員研究員 (10395147)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
中山 功一 佐賀大学, 理工学部, 准教授 (50418498)
|
|---|
| Project Period (FY) |
2022-04-01 – 2025-03-31
|
| Keywords | 演奏技能の再現 / 自宅学習支援 / 離鍵速度 / 骨格画像 |
|---|
| Outline of Annual Research Achievements |
本年度は下記の4点について研究を遂行した．
１．離鍵速度を出力する電子ピアノを購入し，実験に使用する音の種類，音質，音量などの機能を調整し，まずは打鍵速度と離鍵速度との関係を調べた．以前のアコースティックピアノを使った実験で得られた知見から想定される結果となり，本電子ピアノで実験を継続することとした．
２．手の動きのトラッキングに， Leap Motion Controller（ウルトラリープ社）というデバイスを使用してきたが，本年度はバージョンアップしたUltraleap 3Di（ウルトラリープ社）の使用を検討した．検出距離は広がったものの，手の動きによりデバイスとの距離が変わると容易にトラッキングから外れてしまうため，今後の実験課題には利用が難しいと判断した．現在はMediaPipe（Google社）を使用している．
３．MediaPipeの認識精度を確かめるために，2箇所にカメラを設置し，4箇所に立って，指ジェスチャーを行った．その結果，指に負担なく容易に形を再現できるジェスチャーではほぼ100%の正解率であったが，形を再現しにくいジェスチャーは人によりばらつきがあり，70%台の正解率であった．ここから，本研究でMediaPipeを使用する場合でのおよその精度も推測できた．
４．オリジナルの画像と，推定された骨格のみの画像を比較し，人間による評価がどの程度異なるか調べた．本実験ではOpenPoseという人体の「キーポイント」を検出するソフトウェアを用いて，人間のある動作を行う画像から骨格画像を作成した（175枚×2通り）．その動作から，あるリスクを評価できる専門家に，画像を見て判定してもらったところ，2通りの画像間で評価がかなり異なることがわかった．ここから，本研究で手～肩までの画像を元にした骨格画像を作成する場合にも，画像のみを見た印象とは異なることを前提に進めるべきであることがわかった．
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
実際に鍵盤上での動作の骨格座標の数値化については，試行中であるが，別の場面での骨格推定を行うことにより，研究の進め方の軌道修正を行うことができた．
|
| Strategy for Future Research Activity |
次年度は，手首までのデータではなく，肩から指先までのデータを対象とするため，本年度使用したデバイスではなく，MediaPipe（Google社）を利用して鍵盤上の動作を数値化し，電子ピアノから出力される打鍵・離鍵速度との関係を明らかにする．
演奏技術を骨格画像を使って再現するのみならず，自宅での再現・習得を促進するその他のメディアについても検討を行う．
|
