小型モーションキャプチャによる"音の表情"を創る手指の動きの重要性の解明
Project/Area Number |
22K00211
|
Research Category |
Grant-in-Aid for Scientific Research (C)
|
Allocation Type | Multi-year Fund |
Section | 一般 |
Review Section |
Basic Section 01070:Theory of art practice-related
|
Research Institution | Saga University |
Principal Investigator |
大島 千佳 佐賀大学, 理工学部, 客員研究員 (10395147)
|
Co-Investigator(Kenkyū-buntansha) |
中山 功一 佐賀大学, 理工学部, 准教授 (50418498)
|
Project Period (FY) |
2022-04-01 – 2025-03-31
|
Project Status |
Granted (Fiscal Year 2022)
|
Budget Amount *help |
¥4,160,000 (Direct Cost: ¥3,200,000、Indirect Cost: ¥960,000)
Fiscal Year 2024: ¥1,170,000 (Direct Cost: ¥900,000、Indirect Cost: ¥270,000)
Fiscal Year 2023: ¥1,040,000 (Direct Cost: ¥800,000、Indirect Cost: ¥240,000)
Fiscal Year 2022: ¥1,950,000 (Direct Cost: ¥1,500,000、Indirect Cost: ¥450,000)
|
Keywords | 演奏技能の再現 / 自宅学習支援 / 離鍵速度 / 骨格画像 / ピアノ / 離鍵動作 / 技術習得 |
Outline of Research at the Start |
本申請研究では,鍵の動きを操作する手指の動き(以下,表現技術)の重要性について科学的解析を行う.小型の無装着モーションキャプチャなどにより手指の各骨の座標の時系列変化を取得し,これにピアノ演奏熟達者の評価データを加えて,人工知能の機械学習の手法を駆使することで,その表現技術の適切さを自動判定できると考える.この自動判定する取組みは,次世代遠隔ピアノレッスンで表現技術を伝達する「楽器間IoT (Internet of Things)」技術開発の予備的知見となり得るとともに,教育の機会均等化に資する学術的研究である.
|
Outline of Annual Research Achievements |
本年度は下記の4点について研究を遂行した. 1.離鍵速度を出力する電子ピアノを購入し,実験に使用する音の種類,音質,音量などの機能を調整し,まずは打鍵速度と離鍵速度との関係を調べた.以前のアコースティックピアノを使った実験で得られた知見から想定される結果となり,本電子ピアノで実験を継続することとした. 2.手の動きのトラッキングに, Leap Motion Controller(ウルトラリープ社)というデバイスを使用してきたが,本年度はバージョンアップしたUltraleap 3Di(ウルトラリープ社)の使用を検討した.検出距離は広がったものの,手の動きによりデバイスとの距離が変わると容易にトラッキングから外れてしまうため,今後の実験課題には利用が難しいと判断した.現在はMediaPipe(Google社)を使用している. 3.MediaPipeの認識精度を確かめるために,2箇所にカメラを設置し,4箇所に立って,指ジェスチャーを行った.その結果,指に負担なく容易に形を再現できるジェスチャーではほぼ100%の正解率であったが,形を再現しにくいジェスチャーは人によりばらつきがあり,70%台の正解率であった.ここから,本研究でMediaPipeを使用する場合でのおよその精度も推測できた. 4.オリジナルの画像と,推定された骨格のみの画像を比較し,人間による評価がどの程度異なるか調べた.本実験ではOpenPoseという人体の「キーポイント」を検出するソフトウェアを用いて,人間のある動作を行う画像から骨格画像を作成した(175枚×2通り).その動作から,あるリスクを評価できる専門家に,画像を見て判定してもらったところ,2通りの画像間で評価がかなり異なることがわかった.ここから,本研究で手~肩までの画像を元にした骨格画像を作成する場合にも,画像のみを見た印象とは異なることを前提に進めるべきであることがわかった.
|
Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
実際に鍵盤上での動作の骨格座標の数値化については,試行中であるが,別の場面での骨格推定を行うことにより,研究の進め方の軌道修正を行うことができた.
|
Strategy for Future Research Activity |
次年度は,手首までのデータではなく,肩から指先までのデータを対象とするため,本年度使用したデバイスではなく,MediaPipe(Google社)を利用して鍵盤上の動作を数値化し,電子ピアノから出力される打鍵・離鍵速度との関係を明らかにする. 演奏技術を骨格画像を使って再現するのみならず,自宅での再現・習得を促進するその他のメディアについても検討を行う.
|
Report
(1 results)
Research Products
(3 results)