複合現実を用いたピアノ学習支援システムの構築

2019 Fiscal Year Research-status Report

• Project/Area Number: 18K11564
• Research Institution: Shinshu University
• Principal Investigator: 宮尾 秀俊 信州大学, 学術研究院工学系, 准教授 (10239353)
• Project Period (FY): 2018-04-01 – 2022-03-31
• Keywords: 複合現実 / ピアノ学習支援 / 運指

Outline of Annual Research Achievements

本研究の目的は、ピアノ演奏を対象として、効率の良い学習支援システムを構築することである。そのため、令和元年度は、1. 複合現実技術を用いたピアノ演奏支援ツールの改良、2. ピアノの模範演奏の指使いのCGアニメーション化の精度向上、3. ギター演奏支援ツールの開発と検証の3点について研究を行った。1については、前年度のシステムに簡易的な3次元指モデルを生成して表示することにより、どの指でどの鍵盤を打鍵するかを示すことができるようになった。2については、前年度より、LeapMotion（指先の3次元位置情報をリアルタイムに取得できるセンサ）を用いて、ピアノ演奏者の模範的な指使いを計測し、そのデータに基づく3次元CGアニメーションの自動生成を試みている。しかし、センサが取得したデータでは、垂直方向の指先の位置に誤差を生じることがわかり、本システムでは、実際の打鍵情報をMIDIデータで得ることにより、その誤差の補正を実現する手法を開発した。一方、3については、複合現実技術をピアノ以外の楽器演奏支援に適用できるか、その可能性を探るため、ギターの学習支援を試みてみた。ARマーカーをギターに設置し、マイクロソフト社のHoloLens（複合現実技術を実現する透過型ヘッドマウントディスプレイ）を用いて、ギターの3次元位置をリアルタイムに計測し、これから指で抑えるギター弦の位置に印を表示して、初心者の演奏支援をするシステムを構築した。被験者への実験から、複合現実技術をギターの学習支援にも適用できる可能性を示すことができた。

Current Status of Research Progress

3: Progress in research has been slightly delayed.

Reason

当初、実施する予定であった「各種データの収集」、「各学習者に合わせた運指の推定」部分の実施が不十分であるため、やや進捗が遅れている状況である。

Strategy for Future Research Activity

今後は「タブレットPC上での筆記環境の構築」、「各種データの収集」、「複合現実を用いた学習支援システムの構築（特に、演奏の誤りに対する可視化部分）」、「各学習者に合わせた運指の推定とアニメーションの生成」、「楽譜情報・ビデオ映像・演奏データの相互関連付けによる学習支援」の観点から研究を進めていく予定である。その後、実装した学習支援システムを実際の被験者に試用してもらい、各種機能の使い勝手、精度等を検証する予定である。

Causes of Carryover

・購入物品の納品日が次年度となったことと、当初計画で見込んだよりも安価に研究が進んだため、次年度使用額が生じた。
・次年度使用額の一部は5月に納品予定の物品購入に使用する。また、次年度使用額の残りと令和2年度請求額を合わせて、当初の予定通り、消耗品費、旅費、人件費・謝金として使用する計画である。