2020 Fiscal Year Annual Research Report
Development of a system to support playing musical instruments using augmented reality technology
| Project/Area Number |
18K11573
|
|---|
| Research Institution | The University of Tokushima |
|---|
Principal Investigator |
獅々堀 正幹 徳島大学, 大学院社会産業理工学研究部(理工学域), 教授 (50274262)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
光原 弘幸 徳島大学, 大学院社会産業理工学研究部(理工学域), 准教授 (90363134)
大野 将樹 徳島大学, 大学院社会産業理工学研究部(理工学域), 講師 (90433739)
|
|---|
| Project Period (FY) |
2018-04-01 – 2021-03-31
|
| Keywords | 教育工学 / 拡張現実 / 音楽情報処理 |
|---|
| Outline of Annual Research Achievements |
本研究では専門的なアドバイザーがいなくても楽器の正しい演奏方法，特に運指の学習が効率的に行える楽器演奏支援システムの開発を目的とする．運指とは楽器を演奏するときの指の使い方のことであり，スムーズに演奏するための重要な演奏技能である．従来システムは教師となる運指モデルをモニター画面に表示させることで演奏を支援していたが，学習者が自身の手元と画面とを交互に確認しながら練習することになり，学習者にストレスを生じさせるといった問題点があった．
本研究では学習者にAR(拡張現実)機器を装着させ，学習者が演奏している手元に教師となる運指モデルを表示させることで，教師となる運指モデルと自身の運指を同時に見ながら直感的に学習することが可能な楽器演奏支援システムを開発することを目的とする．AR機器が表示する運指モデルに自身の指を合わせて動かすことで，あたかも専門家に指導を受けたかのような正しい運指技能を身に付けることができ，音楽教育現場における指導者の負担を軽減させるだけでなく，音楽の知識がなくても手軽に演奏を楽しめるため，楽器の演奏に興味を持つ子供を増加させることにも繋がる．令和元年度までに，メロディに合わせた教師用運指モデル表示システムおよび運指評価システムを開発した．特に，令和元年度はお手本用演奏映像から教師用運指モデルの自動生成技術を開発した．当初は，映像解析技術を用いて指の動きを検知する予定であったが，精度に問題が生じたため，モーションキャプチャー機器を用いて指の骨格情報を取得することにした．現在は，小学校低学年の音楽の教材になる程度の楽曲についてシステムを運用することが可能になっている．
|
