| 研究課題/領域番号 |
22K12289
|
|---|
| 研究種目 |
基盤研究(C)
|
| 配分区分 | 基金 |
|---|
| 応募区分 | 一般 |
|---|
| 審査区分 |
小区分62030:学習支援システム関連
|
|---|
| 研究機関 | 信州大学 |
|---|
研究代表者 |
宮尾 秀俊 信州大学, 学術研究院工学系, 准教授 (10239353)
|
|---|
| 研究期間 (年度) |
2022-04-01 – 2025-03-31
|
| 研究課題ステータス |
交付 (2023年度)
|
| 配分額 *注記 |
3,900千円 (直接経費: 3,000千円、間接経費: 900千円)
2024年度: 650千円 (直接経費: 500千円、間接経費: 150千円)
2023年度: 1,560千円 (直接経費: 1,200千円、間接経費: 360千円)
2022年度: 1,690千円 (直接経費: 1,300千円、間接経費: 390千円)
|
|---|
| キーワード | 複合現実 / ピアノ学習支援 / 3DCGアニメーション / 遠隔教育 |
|---|
| 研究開始時の研究の概要 |
身体動作をともなう技能を習得する場合、遠隔地であっても、教師があたかも生徒の隣にいて教えてくれるような環境を実現するとともに、教師と生徒の動作の差異を生徒にわかりやすく可視化して提示する仕組みや、学習過程を記録して効率的に後利用できる仕組みを実現するシステムが望まれている。そこで、本研究では、ピアノ演奏を対象として、上記の3つの事項を実現するシステムの構築を目的とする。
|
| 研究実績の概要 |
本研究の目的の1つは、複合現実技術と手の3次元計測・CGモデル生成技術を使って、遠隔地であっても教師があたかも生徒の隣にいて手の動きを教えてくれるピアノ学習支援システムを実現することである。そこで、令和4年度は、Webカメラを用いて手を撮影したRGB画像から手の骨格の3次元位置を推定し、その結果を用いて手の演奏3Dアニメーションを作成する研究を行った。しかし、この方法では、奥行方向の指の位置推定精度が悪いという問題があった。そこで、令和5年度は、Webカメラの代わりにスマートフォンに搭載されたToF(Time of Flight)センサーを用いて、指先の深度情報を取得し、より正確な手の骨格の3次元位置推定を実現した。また、これらの手の骨格情報を遠隔地に伝送・表示するため、PUN2(Photon Unity Networking 2)を用いた。PUN2はオンラインゲームを作成するためのUnity(ゲームエンジンの一種)用のパッケージであり、この機能を用いることにより、Unity上で描画した3Dオブジェクトを遠隔地のユーザーと共有することができる。これにより、ほぼリアルタイムで、演奏している手の動きを遠隔地でアニメーション表示することができた。ただし、ここでの問題点としては、通信環境により、伝送の遅延が発生するため、教師と生徒の同時演奏は難しいことである。例えば、教師がピアノの左手パートを弾き、それに合わせて生徒が右手パートを弾くようなシステムの利用のしかたは困難である。よって、令和6年度は、このような伝送遅延が生じても問題を生じない学習支援の方法も視野にいれたシステムを検討・開発する予定である。
|
| 現在までの達成度 (区分) |
現在までの達成度 (区分)
3: やや遅れている
理由
当初、実施する予定であった「教師と生徒の演奏情報の比較と可視化」部分の実施ができなかったため、やや進捗が遅れている状況である。
|
| 今後の研究の推進方策 |
今後は「教師と生徒の演奏情報の比較と可視化」「タブレットPCの表示要素の連携」「レッスン後のシステム利用」の観点から研究を進めていく予定である。その後、実装した学習支援システムを実際の被験者に試用してもらい、各種機能の使い勝手、精度等を検証する予定である。
|
