2022 Fiscal Year Research-status Report
タブレットPCと複合現実を用いた遠隔ピアノ学習支援システムの構築
Project/Area Number |
22K12289
|
Research Institution | Shinshu University |
Principal Investigator |
宮尾 秀俊 信州大学, 学術研究院工学系, 准教授 (10239353)
|
Project Period (FY) |
2022-04-01 – 2025-03-31
|
Keywords | 複合現実 / ピアノ学習支援 / 3DCGアニメーション |
Outline of Annual Research Achievements |
本研究の目的の1つは、複合現実技術と手の3次元計測・CGモデル生成技術を使って、遠隔地であっても教師があたかも生徒の隣にいて手の動きを教えてくれるピアノ学習支援システムを実現することである。そこで、令和4年度は、Webカメラを用いて手を撮影したRGB画像から手の骨格の3次元位置を推定し、その結果を用いて手の演奏3Dアニメーションを作成する研究を行った。ここでは、Google社が開発したMediaPipeを用いて手の骨格の3次元位置を推定したが、カメラを鍵盤の上方に設置した場合、奥行方向の指の位置推定が難しいことがわかったため、MIDI鍵盤からの打鍵情報を利用して、位置の補正を行う方法を開発し、精度向上を達成した。 また、本研究のもう1つの目的として、タブレットPCを用いて、効率の良い学習支援を行うことを挙げている。そこで、タブレット上に表示する楽譜を複合現実の技術を用いて、空間上に配置するシステムについても研究を行った。具体的には、タブレット上で特定の箇所をスワイプする動作を行うと複合現実空間にその楽譜の全ページを表示し、一方、ARマーカーを表示したタブレットを複合現実空間にある楽譜に近づける動作を行うとタブレット上にその楽譜を表示できる仕組みを開発した。これにより、楽譜のページ数が多い場合や、多数の楽譜がある場合に、それらを空間上に配置することができ、目的の楽譜をタブレット上に素早く表示できる機能を実現している。一方、タブレットや複合現実空間での操作に不慣れなユーザーを考慮して、実際の紙面に複合現実技術を用いて、対象の楽譜を投影し、あたかもユーザーが紙面を扱うように楽譜画像を扱うことができるシステムも開発した。
|
Current Status of Research Progress |
Current Status of Research Progress
3: Progress in research has been slightly delayed.
Reason
当初、実施する予定であった「3次元手モデルのデータの伝送、映像・音声・演奏音の伝送」部分の実施ができなかったため、やや進捗が遅れている状況である。
|
Strategy for Future Research Activity |
今後は「3次元手モデルのデータの伝送、映像・音声・演奏音の伝送」、「教師と生徒の演奏情報の比較と可視化」「タブレットPCの表示要素の連携」「レッスン後のシステム利用」の観点から研究を進めていく予定である。その後、実装した学習支援システムを実際の被験者に試用してもらい、各種機能の使い勝手、精度等を検証する予定である。
|
Causes of Carryover |
当初予定していたヘッドマウントディスプレイやワークステーションによる研究開発は、研究の進捗状況により、令和5年度に実施することとしたため、次年度使用額が生じた。 次年度使用額の一部は、上記物品の購入に使用する。また、次年度使用額の残りと令和5年度請求額を合わせて、当初の予定通り、設備備品費、消耗品費、旅費、人件費・謝金、外国語論文の校閲に使用する予定である。
|