複合現実を用いたピアノ学習支援システムの構築

2018 Fiscal Year Research-status Report

• Project/Area Number: 18K11564
• Research Institution: Shinshu University
• Principal Investigator: 宮尾 秀俊 信州大学, 学術研究院工学系, 准教授 (10239353)
• Project Period (FY): 2018-04-01 – 2022-03-31
• Keywords: 複合現実 / ピアノ学習支援 / 運指

Outline of Annual Research Achievements

本研究の目的は、ピアノ演奏を対象として、効率の良い学習支援システムを構築することである。そのため、平成30年度は、1. 複合現実技術を用いたピアノ演奏支援ツールの開発と検証、2. ピアノの模範演奏の指使いのCGアニメーション化の2点について研究を行なった。1については、マイクロソフト社のHoloLens（複合現実技術を実現する透過型ヘッドマウントディスプレイ）を用いて、実際のピアノの鍵盤上にピアノロール（縦軸を音高、横軸を時間として、鍵盤を押している音高部分を矩形表示する音楽表現）を模した演奏情報を重畳表示することによって、演奏を支援するツールを開発した。演奏中に次に打鍵する鍵盤が光る既存の演奏システムと本システムの比較実験を行った結果、本システムがより効率的かつ直感的にピアノ学習ができることを示すことができた。今後は、MIDI楽器から得られる打鍵情報を用いて、演奏の誤りを可視化して学習者に提示する仕組みを取り入れていく予定である。一方、2については、Leap Motion（指先の3次元位置情報をリアルタイムに取得できるセンサ）を用いて、ピアノ演奏者の模範的な指使いを計測し、そのデータに基づく3次元CGアニメーションの自動生成を試みた。しかし、センサが取得したデータに不正確な部分が多く存在したため、データ補正が必要であることが判明した。今後は、実際の打鍵情報等からデータの補正をする手法を考案する予定である。また、模範的な指使いのアニメーションをHoloLensで実際の学習者が演奏する鍵盤上に重畳表示して学習支援する仕組みも考案する予定である。

Current Status of Research Progress

2: Research has progressed on the whole more than it was originally planned.

Reason

初年度に実施する予定であった「各種データの収集」が不十分であるが、他の部分については、おおむね順調に研究が進捗していると言える。

Strategy for Future Research Activity

今後は「タブレットPC上での筆記環境の構築」、「各種データの収集」、「複合現実を用いた学習支援システムの構築（特に、学習者と模範演奏者の演奏の差異の可視化と表示）」、「各学習者に合わせた運指の推定とアニメーションの生成」、「楽譜情報・ビデオ映像・演奏データの相互関連付けによる学習支援」の観点から研究を進めていく予定である。その後、実装した学習支援システムを実際の被験者に試用してもらい、各種機能の使い勝手、精度等を検証する予定である。

Causes of Carryover

（次年度使用額が生じた理由）
・当初計画で見込んだよりも安価に研究が進んだため、次年度使用額が生じた。
（使用計画）
・次年度使用額は平成31年度請求額と合わせて人件費・謝金として使用する予定である。