2018 Fiscal Year Research-status Report
AR(拡張現実)技術を用いた楽器演奏支援システムの開発
| Project/Area Number |
18K11573
|
|---|
| Research Institution | The University of Tokushima |
|---|
Principal Investigator |
獅々堀 正幹 徳島大学, 大学院社会産業理工学研究部(理工学域), 教授 (50274262)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
光原 弘幸 徳島大学, 大学院社会産業理工学研究部(理工学域), 講師 (90363134)
大野 将樹 徳島大学, 大学院社会産業理工学研究部(理工学域), 講師 (90433739)
|
|---|
| Project Period (FY) |
2018-04-01 – 2021-03-31
|
| Keywords | 教育工学 / 拡張現実 / 音楽情報処理 |
|---|
| Outline of Annual Research Achievements |
本研究では専門的なアドバイザーがいなくても楽器の正しい演奏方法，特に運指の学習が効率的に行える楽器演奏支援システムの開発を目的とする.運指とは楽器を演奏するときの指の使い方のことであり，スムーズに演奏するための重要な演奏技能である.従来システムは教師となる運指モデルをモニター画面に表示させることで演奏を支援していたが，学習者が自身の手元と画面とを交互に確認しながら練習することになり，学習者にストレスを生じさせるといった問題点があった.
本研究では学習者にAR(拡張現実) 機器を装着させ，学習者が演奏している手元に教師となる運指モデルを表示させることで，教師となる運指モデルと自身の運指を同時に見ながら直感的に学習することが可能な楽器演奏支援システムを開発する.AR機器が表示する運指モデルに自身の指を合わせて動かすことで，あたかも専門家に指導を受けたかのような正しい運指技能を身に付けることができ，音楽教育現場における指導者の負担を軽減させるだけでなく，音楽の知識がなくても手軽に演奏を楽しめるため，楽器の演奏に興味を持つ子供を増加させることにも繋がる.
平成30年度は，メロディに合わせた教師用運指モデル表示システムおよび運指評価システムを開発した．システムの開発環境としては，3Dゲーム開発環境としてフリーでリリースされているUnityを使用した.また，AR技術を用いて開発を行う際に，AR SDKが必要になるため，本研究では Vuforia SDKを使用した.従来のプロトタイプにメロディを組み込むために，演奏楽曲とギターコードとの時間対応を検出し，楽曲に同調させて教師用運指モデルを表示できるように改良した.また，ピアノ演奏のように運指の動きが複雑な楽器に対しては，演奏楽曲の音符系列と教師用運指モデルとの対応を構築した.
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
本研究のコアになる基礎エンジンの開発は，当初の計画通りに終了したため.
|
| Strategy for Future Research Activity |
平成３１年度以降は，お手本用演奏映像から教師用運指モデルの自動生成技術を研究開発する予定である．現在のシステムではグラフィックソフトウェアを用いて手作業にて教師用運指モデル作成しており，今後，楽曲数を増やすためには，教師用運指モデルの自動生成技術の実現が不可欠である.本研究では肌色領域分布の時間的変化を運指モデルの映像的特徴量と捉え，お手本用演奏映像から教師用運指モデルを自動生成する技術を開発する.なお予防対策として，肌色検出精度が悪い場合には，背景差分による画像処理技術を適用することで対応する予定である.
|
| Causes of Carryover |
(理由)システム構築に使用するパソコン，サーバー類が当初の見積もり額よりも低価格にて購入できたため.
(使用計画) 若干の繰越金が生じたが，次年度以降実施予定の大規模データに対する記録メディアの購入(物品費)に割り当てる予定である.
|
