Project/Area Number |
19K03057
|
Research Category |
Grant-in-Aid for Scientific Research (C)
|
Allocation Type | Multi-year Fund |
Section | 一般 |
Review Section |
Basic Section 09070:Educational technology-related
|
Research Institution | Saga University |
Principal Investigator |
奥村 浩 佐賀大学, 理工学部, 教授 (50251195)
|
Project Period (FY) |
2019-04-01 – 2024-03-31
|
Project Status |
Granted (Fiscal Year 2022)
|
Budget Amount *help |
¥4,420,000 (Direct Cost: ¥3,400,000、Indirect Cost: ¥1,020,000)
Fiscal Year 2023: ¥650,000 (Direct Cost: ¥500,000、Indirect Cost: ¥150,000)
Fiscal Year 2022: ¥650,000 (Direct Cost: ¥500,000、Indirect Cost: ¥150,000)
Fiscal Year 2021: ¥650,000 (Direct Cost: ¥500,000、Indirect Cost: ¥150,000)
Fiscal Year 2020: ¥1,560,000 (Direct Cost: ¥1,200,000、Indirect Cost: ¥360,000)
Fiscal Year 2019: ¥910,000 (Direct Cost: ¥700,000、Indirect Cost: ¥210,000)
|
Keywords | 仮想現実 / 指揮者 / 楽器演奏者 / 機械学習 / セルフトレーニングシステム / サイレントコミュニケーション / トレーニングシステム / サイレント・コミュニケーション / 拡張現実 / 器楽演奏 / 訓練システム |
Outline of Research at the Start |
本研究では、機械学習やAR技術を応用し、居ながらにして音楽演奏における合奏技術向上を図れる、インテリジェントなサイレント・コミュニケーションの訓練支援システムの開発を目的としている。本システムは、指揮者や器楽演奏者から取得した映像から、機械学習により、特徴となる動作や表情を抽出し、データベースや判別器を構成する部分、取得した演奏の多視点映像を基に、演奏者に装着したMR/VRゴーグル上に、実際の演奏者配置に近いAR映像を生成する部分、トレーニング中の演奏者の演奏音や動作を取得し、構成したデータベースおよび判別器を基に、演奏音や動作が適切であったかどうかの評価を行う部分から構成されている。
|
Outline of Annual Research Achievements |
音楽のライブ演奏において、複数の演奏者が同時に演奏する場合、演奏者の耳で「相互に」聴き合う(聴覚)事が最も重要であることは言うまでも無いが、演奏 者間距離が離れている場合、音の伝達速度に起因する認識や反応の遅延が生じてしまう。優れた演奏者は経験上、こうした場合に聴覚とともに視覚情報を利用し ている。具体的には、管楽器や弦楽器奏者の発音直前の予備動作(いわゆるアインザッツ)や、指揮者の姿勢、顔の表情や手の動きから、さまざまな情報を読み 取って自分が取るべき反応(演奏)を行っている。本研究では、こうした演奏者間の動作や視線による「サイレント・コミュニケーション」に着目し、演奏場面 で生じる視覚と聴覚に対する刺激を拡張現実(Augmented Reality)で再現し、視覚系や聴覚系を含む大脳における情報処理過程を機械学習で模倣することによ り、ライブ演奏でのアンサンブル技術向上を目的とした、サイレント・コミュニケーションのトレーニングシステムの開発を試みる。 今年度までに実施したことは、これまで取得してきた指揮者のアクションの3Dデータに加え、フルートやクラリネット、オーボエやサクソフォンなどの木管楽器奏者のアインザッツアクションを指揮者のアクションを様々なカメラで撮影し同時に各種センサ(データグローブや深度センサ)でデータを取得し、nityを用 いた指揮者の仮想映像生成を行った。また、WebベースでのGUIや、演奏会録音部および解析部の実装を行った。
|
Current Status of Research Progress |
Current Status of Research Progress
3: Progress in research has been slightly delayed.
Reason
2020年3月からのCOVID19の影響で、データを取得させて頂く予定だった被験者との接触が制限された期間が断続的にあり、データ取得に遅延が生じ ている。 現在は、当初は指揮者や弦楽器、金管楽器、木管楽器と広く想定していたデータを取得させて頂く予定だった被験者の対象者や対象楽器の種類を絞り、手法やシステムの構築の方に重きを置いて進めている。 指揮者と演奏者とのサイレントコミュニケーショントレーニングシステムを先行構築し、楽器演奏者相互のサイレントコミュニケーショントレーニングシステム については、今後の継続研究として進めていくことに方針変更を行った。
|
Strategy for Future Research Activity |
次年度(令和5年度)は、引き続いてデータの修得、解析、指揮者の仮想映像の改良を進めると共に、指揮者のや楽器演奏者のアインザッツ動作仮想映像に対する被訓練者のリアクションデータ (演奏音など)を取得、解析、評価する、リアクション解析部の構築を進める。 具体的には、指揮者と演奏者との位置関係の入力、被訓練者のリアクション(楽音)の取得・解析、指揮者の仮想映像から推定される打点タイミングと楽音との ずれや、指揮者と演奏者との位置関係に基づく音声の遅延到達時間の推定と評価を行い、それらの評価結果を画面表示する。 また、可能な限り改善へのヒントを自動生成し、被訓練者に対して呈示する機能の実装を目指す。
|