| 研究課題/領域番号 |
19K03057
|
|---|
| 研究種目 |
基盤研究(C)
|
| 配分区分 | 基金 |
|---|
| 応募区分 | 一般 |
|---|
| 審査区分 |
小区分09070:教育工学関連
|
|---|
| 研究機関 | 佐賀大学 |
|---|
研究代表者 |
奥村 浩 佐賀大学, 理工学部, 教授 (50251195)
|
|---|
| 研究期間 (年度) |
2019-04-01 – 2025-03-31
|
| 研究課題ステータス |
交付 (2023年度)
|
| 配分額 *注記 |
4,420千円 (直接経費: 3,400千円、間接経費: 1,020千円)
2023年度: 650千円 (直接経費: 500千円、間接経費: 150千円)
2022年度: 650千円 (直接経費: 500千円、間接経費: 150千円)
2021年度: 650千円 (直接経費: 500千円、間接経費: 150千円)
2020年度: 1,560千円 (直接経費: 1,200千円、間接経費: 360千円)
2019年度: 910千円 (直接経費: 700千円、間接経費: 210千円)
|
|---|
| キーワード | Augmented Reality / Performance Training / Online Training / 3D Animation / 仮想現実 / 指揮者 / 楽器演奏者 / 機械学習 / セルフトレーニングシステム / サイレントコミュニケーション / トレーニングシステム / サイレント・コミュニケーション / 拡張現実 / 器楽演奏 / 訓練システム |
|---|
| 研究開始時の研究の概要 |
本研究では、機械学習やAR技術を応用し、居ながらにして音楽演奏における合奏技術向上を図れる、インテリジェントなサイレント・コミュニケーションの訓練支援システムの開発を目的としている。本システムは、指揮者や器楽演奏者から取得した映像から、機械学習により、特徴となる動作や表情を抽出し、データベースや判別器を構成する部分、取得した演奏の多視点映像を基に、演奏者に装着したMR/VRゴーグル上に、実際の演奏者配置に近いAR映像を生成する部分、トレーニング中の演奏者の演奏音や動作を取得し、構成したデータベースおよび判別器を基に、演奏音や動作が適切であったかどうかの評価を行う部分から構成されている。
|
| 研究実績の概要 |
本研究は、AR技術と音楽教育の融合を目指し、様々な条件（練習する曲目の拍子やテンポ、アインザッツを出す楽器、奏者間の位置関係）に適応的に作成したアインザッツを出す首席奏者の動作映像をARグラスに投影し、その映像に合わせて演奏を開始した音声を解析・評価することにより、個人で合奏技術のトレーニングを行うことができるシステムの試作を進めてきた。
本年度は、演奏者の３D実測データを元に、Unityで製作したAR画像提示部の精度改善と、演奏解析・評価部の実装を実施し、一連のシステム動作の確認を行うプロトタイプを実装した。
その成果を、３月に開催された国際会議 8th International Conference on Virtual and Augmented Reality Simulations (ICVARS 2024) で発表を行った。
この科学研究費補助金の研究期間は、計画上は本年度までであったが、2020年以降のCOVID-19感染拡大の影響による研究遂行遅延があるため、１年間の研究期間延長を申請した。
|
| 現在までの達成度 (区分) |
現在までの達成度 (区分)
3: やや遅れている
理由
2020〜2022年度のCOVID-19感染拡大の影響による、対人の３Dデータ取得の大幅な遅れが、その後のシステム開発や、実証実験に大きな影響を及ぼしたため。
|
| 今後の研究の推進方策 |
次年度は、本年度まで完成しているプロトタイプシステムにおいて、まだ改善できていない部分のシステム改善や実装を進め、実証実験および学会での成果公表を進めていく。
|
