| 研究課題/領域番号 |
22K00211
|
|---|
| 研究機関 | 佐賀大学 |
|---|
研究代表者 |
大島 千佳 佐賀大学, 理工学部, 客員研究員 (10395147)
|
|---|
| 研究分担者 |
中山 功一 佐賀大学, 理工学部, 准教授 (50418498)
|
|---|
| 研究期間 (年度) |
2022-04-01 – 2025-03-31
|
| キーワード | 演奏技能の再現 / 自宅学習支援 / 離鍵速度 / 骨格画像 |
|---|
| 研究実績の概要 |
本年度は下記の4点について研究を遂行した．
１．離鍵速度を出力する電子ピアノを購入し，実験に使用する音の種類，音質，音量などの機能を調整し，まずは打鍵速度と離鍵速度との関係を調べた．以前のアコースティックピアノを使った実験で得られた知見から想定される結果となり，本電子ピアノで実験を継続することとした．
２．手の動きのトラッキングに， Leap Motion Controller（ウルトラリープ社）というデバイスを使用してきたが，本年度はバージョンアップしたUltraleap 3Di（ウルトラリープ社）の使用を検討した．検出距離は広がったものの，手の動きによりデバイスとの距離が変わると容易にトラッキングから外れてしまうため，今後の実験課題には利用が難しいと判断した．現在はMediaPipe（Google社）を使用している．
３．MediaPipeの認識精度を確かめるために，2箇所にカメラを設置し，4箇所に立って，指ジェスチャーを行った．その結果，指に負担なく容易に形を再現できるジェスチャーではほぼ100%の正解率であったが，形を再現しにくいジェスチャーは人によりばらつきがあり，70%台の正解率であった．ここから，本研究でMediaPipeを使用する場合でのおよその精度も推測できた．
４．オリジナルの画像と，推定された骨格のみの画像を比較し，人間による評価がどの程度異なるか調べた．本実験ではOpenPoseという人体の「キーポイント」を検出するソフトウェアを用いて，人間のある動作を行う画像から骨格画像を作成した（175枚×2通り）．その動作から，あるリスクを評価できる専門家に，画像を見て判定してもらったところ，2通りの画像間で評価がかなり異なることがわかった．ここから，本研究で手～肩までの画像を元にした骨格画像を作成する場合にも，画像のみを見た印象とは異なることを前提に進めるべきであることがわかった．
|
| 現在までの達成度 (区分) |
現在までの達成度 (区分)
2: おおむね順調に進展している
理由
実際に鍵盤上での動作の骨格座標の数値化については，試行中であるが，別の場面での骨格推定を行うことにより，研究の進め方の軌道修正を行うことができた．
|
| 今後の研究の推進方策 |
次年度は，手首までのデータではなく，肩から指先までのデータを対象とするため，本年度使用したデバイスではなく，MediaPipe（Google社）を利用して鍵盤上の動作を数値化し，電子ピアノから出力される打鍵・離鍵速度との関係を明らかにする．
演奏技術を骨格画像を使って再現するのみならず，自宅での再現・習得を促進するその他のメディアについても検討を行う．
|
