2019 Fiscal Year Research-status Report
AR(拡張現実)技術を用いた楽器演奏支援システムの開発
| Project/Area Number |
18K11573
|
|---|
| Research Institution | The University of Tokushima |
|---|
Principal Investigator |
獅々堀 正幹 徳島大学, 大学院社会産業理工学研究部(理工学域), 教授 (50274262)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
光原 弘幸 徳島大学, 大学院社会産業理工学研究部(理工学域), 講師 (90363134)
大野 将樹 徳島大学, 大学院社会産業理工学研究部(理工学域), 講師 (90433739)
|
|---|
| Project Period (FY) |
2018-04-01 – 2021-03-31
|
| Keywords | 教育工学 / 拡張現実 / 音楽情報処理 |
|---|
| Outline of Annual Research Achievements |
本研究では専門的なアドバイザーがいなくても楽器の正しい演奏方法，特に運指の学習が効率的に行える楽器演奏支援システムの開発を目的とする．運指とは楽器を演奏するときの指の使い方のことであり，スムーズに演奏するための重要な演奏技能である．従来システムは教師となる運指モデルをモニター画面に表示させることで演奏を支援していたが，学習者が自身の手元と画面とを交互に確認しながら練習することになり，学習者にストレスを生じさせるといった問題点があった．
本研究では学習者にAR（拡張現実）機器を装着させ，学習者が演奏している手元に教師となる運指モデルを表示させることで，教師となる運指モデルと自身の運指を同時に見ながら直感的に学習することが可能な楽器演奏支援システムを開発することを目的とする．AR機器が表示する運指モデルに自身の指を合わせて動かすことで，あたかも専門家に指導を受けたかのような正しい運指技能を身に付けることができ，音楽教育現場における指導者の負担を軽減させるだけでなく，音楽の知識がなくても手軽に演奏を楽しめるため，楽器の演奏に興味を持つ子供を増加させることにも繋がる．
令和元年度までに，メロディに合わせた教師用運指モデル表示システムおよび運指評価システムを開発した．
特に，令和元年度はお手本用演奏映像から教師用運指モデルの自動生成技術を開発した．当初は，映像解析技術を用いて指の動きを検知する予定であったが，精度に問題が生じたため，Leap Motionというモーションキャプチャー機器を用いて指の骨格情報を取得することにした．現在は，小学校低学年の音楽の教材になる程度の楽曲についてシステムを運用することが可能になっている．
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
本研究のプロトタイプシステムの開発は当初の計画通りに終了したため.
|
| Strategy for Future Research Activity |
令和2年度以降は，演奏可能な楽曲数を増やす予定である．現在は，小学生低学年の音楽教材の楽曲程度に対応可能であり，教師用運指モデルの自動生成機能も備えている．ただし，指の動きが複雑になったり，指の動きが早くなるような楽曲に対しては，学習者の指の動きがお手本の運指モデルに追従することができず，使いづらい一面がある．そこで，次にどのような方向に指を動かせばいいかといった予測機能を表示できるようシステムを改良する予定である．また，現在までの研究成果を国外ジャーナルや国際会議などで発表する予定である．
|
| Causes of Carryover |
（理由）システム構築に使用する機器類が当初の見積もり額よりも低価格にて購入できたため．
（使用計画）若干の繰越金が生じたが，次年度以降実施予定の実験データ整理などに対する人件費（謝金）に割り当てる予定である．
|
Research Products
(4 results)
