2023 Fiscal Year Research-status Report
Development of silent communication training system on music performance using augmented reality and machine learning
| Project/Area Number |
19K03057
|
|---|
| Research Institution | Saga University |
|---|
Principal Investigator |
奥村 浩 佐賀大学, 理工学部, 教授 (50251195)
|
|---|
| Project Period (FY) |
2019-04-01 – 2025-03-31
|
| Keywords | Augmented Reality / Performance Training / Online Training / 3D Animation |
|---|
| Outline of Annual Research Achievements |
本研究は、AR技術と音楽教育の融合を目指し、様々な条件（練習する曲目の拍子やテンポ、アインザッツを出す楽器、奏者間の位置関係）に適応的に作成したアインザッツを出す首席奏者の動作映像をARグラスに投影し、その映像に合わせて演奏を開始した音声を解析・評価することにより、個人で合奏技術のトレーニングを行うことができるシステムの試作を進めてきた。
本年度は、演奏者の３D実測データを元に、Unityで製作したAR画像提示部の精度改善と、演奏解析・評価部の実装を実施し、一連のシステム動作の確認を行うプロトタイプを実装した。
その成果を、３月に開催された国際会議 8th International Conference on Virtual and Augmented Reality Simulations (ICVARS 2024) で発表を行った。
この科学研究費補助金の研究期間は、計画上は本年度までであったが、2020年以降のCOVID-19感染拡大の影響による研究遂行遅延があるため、１年間の研究期間延長を申請した。
|
| Current Status of Research Progress |
Current Status of Research Progress
3: Progress in research has been slightly delayed.
Reason
2020〜2022年度のCOVID-19感染拡大の影響による、対人の３Dデータ取得の大幅な遅れが、その後のシステム開発や、実証実験に大きな影響を及ぼしたため。
|
| Strategy for Future Research Activity |
次年度は、本年度まで完成しているプロトタイプシステムにおいて、まだ改善できていない部分のシステム改善や実装を進め、実証実験および学会での成果公表を進めていく。
|
| Causes of Carryover |
研究期間を1年延長したため、延長期間での研究を円滑に行うために残額を残した。
使用計画は、少額の追加物品と、最終的な成果公表の国際会議旅費を予定している。
|
