| Project/Area Number |
19K03057
|
|---|
| Research Category |
Grant-in-Aid for Scientific Research (C)
|
| Allocation Type | Multi-year Fund |
|---|
| Section | 一般 |
|---|
| Review Section |
Basic Section 09070:Educational technology-related
|
|---|
| Research Institution | Saga University |
|---|
Principal Investigator |
奥村 浩 佐賀大学, 理工学部, 教授 (50251195)
|
|---|
| Project Period (FY) |
2019-04-01 – 2025-03-31
|
| Project Status |
Granted (Fiscal Year 2023)
|
| Budget Amount *help |
¥4,420,000 (Direct Cost: ¥3,400,000、Indirect Cost: ¥1,020,000)
Fiscal Year 2023: ¥650,000 (Direct Cost: ¥500,000、Indirect Cost: ¥150,000)
Fiscal Year 2022: ¥650,000 (Direct Cost: ¥500,000、Indirect Cost: ¥150,000)
Fiscal Year 2021: ¥650,000 (Direct Cost: ¥500,000、Indirect Cost: ¥150,000)
Fiscal Year 2020: ¥1,560,000 (Direct Cost: ¥1,200,000、Indirect Cost: ¥360,000)
Fiscal Year 2019: ¥910,000 (Direct Cost: ¥700,000、Indirect Cost: ¥210,000)
|
|---|
| Keywords | Augmented Reality / Performance Training / Online Training / 3D Animation / 仮想現実 / 指揮者 / 楽器演奏者 / 機械学習 / セルフトレーニングシステム / サイレントコミュニケーション / トレーニングシステム / サイレント・コミュニケーション / 拡張現実 / 器楽演奏 / 訓練システム |
|---|
| Outline of Research at the Start |
本研究では、機械学習やAR技術を応用し、居ながらにして音楽演奏における合奏技術向上を図れる、インテリジェントなサイレント・コミュニケーションの訓練支援システムの開発を目的としている。本システムは、指揮者や器楽演奏者から取得した映像から、機械学習により、特徴となる動作や表情を抽出し、データベースや判別器を構成する部分、取得した演奏の多視点映像を基に、演奏者に装着したMR/VRゴーグル上に、実際の演奏者配置に近いAR映像を生成する部分、トレーニング中の演奏者の演奏音や動作を取得し、構成したデータベースおよび判別器を基に、演奏音や動作が適切であったかどうかの評価を行う部分から構成されている。
|
| Outline of Annual Research Achievements |
本研究は、AR技術と音楽教育の融合を目指し、様々な条件（練習する曲目の拍子やテンポ、アインザッツを出す楽器、奏者間の位置関係）に適応的に作成したアインザッツを出す首席奏者の動作映像をARグラスに投影し、その映像に合わせて演奏を開始した音声を解析・評価することにより、個人で合奏技術のトレーニングを行うことができるシステムの試作を進めてきた。
本年度は、演奏者の３D実測データを元に、Unityで製作したAR画像提示部の精度改善と、演奏解析・評価部の実装を実施し、一連のシステム動作の確認を行うプロトタイプを実装した。
その成果を、３月に開催された国際会議 8th International Conference on Virtual and Augmented Reality Simulations (ICVARS 2024) で発表を行った。
この科学研究費補助金の研究期間は、計画上は本年度までであったが、2020年以降のCOVID-19感染拡大の影響による研究遂行遅延があるため、１年間の研究期間延長を申請した。
|
| Current Status of Research Progress |
Current Status of Research Progress
3: Progress in research has been slightly delayed.
Reason
2020〜2022年度のCOVID-19感染拡大の影響による、対人の３Dデータ取得の大幅な遅れが、その後のシステム開発や、実証実験に大きな影響を及ぼしたため。
|
| Strategy for Future Research Activity |
次年度は、本年度まで完成しているプロトタイプシステムにおいて、まだ改善できていない部分のシステム改善や実装を進め、実証実験および学会での成果公表を進めていく。
|
