| Project/Area Number |
22K12289
|
|---|
| Research Category |
Grant-in-Aid for Scientific Research (C)
|
| Allocation Type | Multi-year Fund |
|---|
| Section | 一般 |
|---|
| Review Section |
Basic Section 62030:Learning support system-related
|
|---|
| Research Institution | Shinshu University |
|---|
Principal Investigator |
宮尾 秀俊 信州大学, 学術研究院工学系, 准教授 (10239353)
|
|---|
| Project Period (FY) |
2022-04-01 – 2025-03-31
|
| Project Status |
Granted (Fiscal Year 2023)
|
| Budget Amount *help |
¥3,900,000 (Direct Cost: ¥3,000,000、Indirect Cost: ¥900,000)
Fiscal Year 2024: ¥650,000 (Direct Cost: ¥500,000、Indirect Cost: ¥150,000)
Fiscal Year 2023: ¥1,560,000 (Direct Cost: ¥1,200,000、Indirect Cost: ¥360,000)
Fiscal Year 2022: ¥1,690,000 (Direct Cost: ¥1,300,000、Indirect Cost: ¥390,000)
|
|---|
| Keywords | 複合現実 / ピアノ学習支援 / 3DCGアニメーション / 遠隔教育 |
|---|
| Outline of Research at the Start |
身体動作をともなう技能を習得する場合、遠隔地であっても、教師があたかも生徒の隣にいて教えてくれるような環境を実現するとともに、教師と生徒の動作の差異を生徒にわかりやすく可視化して提示する仕組みや、学習過程を記録して効率的に後利用できる仕組みを実現するシステムが望まれている。そこで、本研究では、ピアノ演奏を対象として、上記の3つの事項を実現するシステムの構築を目的とする。
|
| Outline of Annual Research Achievements |
本研究の目的の1つは、複合現実技術と手の3次元計測・CGモデル生成技術を使って、遠隔地であっても教師があたかも生徒の隣にいて手の動きを教えてくれるピアノ学習支援システムを実現することである。そこで、令和4年度は、Webカメラを用いて手を撮影したRGB画像から手の骨格の3次元位置を推定し、その結果を用いて手の演奏3Dアニメーションを作成する研究を行った。しかし、この方法では、奥行方向の指の位置推定精度が悪いという問題があった。そこで、令和5年度は、Webカメラの代わりにスマートフォンに搭載されたToF(Time of Flight)センサーを用いて、指先の深度情報を取得し、より正確な手の骨格の3次元位置推定を実現した。また、これらの手の骨格情報を遠隔地に伝送・表示するため、PUN2(Photon Unity Networking 2)を用いた。PUN2はオンラインゲームを作成するためのUnity(ゲームエンジンの一種)用のパッケージであり、この機能を用いることにより、Unity上で描画した3Dオブジェクトを遠隔地のユーザーと共有することができる。これにより、ほぼリアルタイムで、演奏している手の動きを遠隔地でアニメーション表示することができた。ただし、ここでの問題点としては、通信環境により、伝送の遅延が発生するため、教師と生徒の同時演奏は難しいことである。例えば、教師がピアノの左手パートを弾き、それに合わせて生徒が右手パートを弾くようなシステムの利用のしかたは困難である。よって、令和6年度は、このような伝送遅延が生じても問題を生じない学習支援の方法も視野にいれたシステムを検討・開発する予定である。
|
| Current Status of Research Progress |
Current Status of Research Progress
3: Progress in research has been slightly delayed.
Reason
当初、実施する予定であった「教師と生徒の演奏情報の比較と可視化」部分の実施ができなかったため、やや進捗が遅れている状況である。
|
| Strategy for Future Research Activity |
今後は「教師と生徒の演奏情報の比較と可視化」「タブレットPCの表示要素の連携」「レッスン後のシステム利用」の観点から研究を進めていく予定である。その後、実装した学習支援システムを実際の被験者に試用してもらい、各種機能の使い勝手、精度等を検証する予定である。
|
