2023 Fiscal Year Research-status Report
タブレットPCと複合現実を用いた遠隔ピアノ学習支援システムの構築
| Project/Area Number |
22K12289
|
|---|
| Research Institution | Shinshu University |
|---|
Principal Investigator |
宮尾 秀俊 信州大学, 学術研究院工学系, 准教授 (10239353)
|
|---|
| Project Period (FY) |
2022-04-01 – 2025-03-31
|
| Keywords | 複合現実 / ピアノ学習支援 / 3DCGアニメーション |
|---|
| Outline of Annual Research Achievements |
本研究の目的の1つは、複合現実技術と手の3次元計測・CGモデル生成技術を使って、遠隔地であっても教師があたかも生徒の隣にいて手の動きを教えてくれるピアノ学習支援システムを実現することである。そこで、令和4年度は、Webカメラを用いて手を撮影したRGB画像から手の骨格の3次元位置を推定し、その結果を用いて手の演奏3Dアニメーションを作成する研究を行った。しかし、この方法では、奥行方向の指の位置推定精度が悪いという問題があった。そこで、令和5年度は、Webカメラの代わりにスマートフォンに搭載されたToF(Time of Flight)センサーを用いて、指先の深度情報を取得し、より正確な手の骨格の3次元位置推定を実現した。また、これらの手の骨格情報を遠隔地に伝送・表示するため、PUN2(Photon Unity Networking 2)を用いた。PUN2はオンラインゲームを作成するためのUnity(ゲームエンジンの一種)用のパッケージであり、この機能を用いることにより、Unity上で描画した3Dオブジェクトを遠隔地のユーザーと共有することができる。これにより、ほぼリアルタイムで、演奏している手の動きを遠隔地でアニメーション表示することができた。ただし、ここでの問題点としては、通信環境により、伝送の遅延が発生するため、教師と生徒の同時演奏は難しいことである。例えば、教師がピアノの左手パートを弾き、それに合わせて生徒が右手パートを弾くようなシステムの利用のしかたは困難である。よって、令和6年度は、このような伝送遅延が生じても問題を生じない学習支援の方法も視野にいれたシステムを検討・開発する予定である。
|
| Current Status of Research Progress |
Current Status of Research Progress
3: Progress in research has been slightly delayed.
Reason
当初、実施する予定であった「教師と生徒の演奏情報の比較と可視化」部分の実施ができなかったため、やや進捗が遅れている状況である。
|
| Strategy for Future Research Activity |
今後は「教師と生徒の演奏情報の比較と可視化」「タブレットPCの表示要素の連携」「レッスン後のシステム利用」の観点から研究を進めていく予定である。その後、実装した学習支援システムを実際の被験者に試用してもらい、各種機能の使い勝手、精度等を検証する予定である。
|
| Causes of Carryover |
当初予定していた複数台のヘッドマウントディスプレイを用いたシステムの開発は、研究の進捗状況により、令和6年度に実施することとしたため、次年度使用額が生じた。
次年度使用額の一部は、上記物品の購入に使用する。また、次年度使用額の残りと令和6年度請求額を合わせて、当初の予定通り、消耗品費、旅費、謝金、外国語論文の校閲、研究成果投稿料に使用する予定である。
|
