Development of silent communication training system on music performance using augmented reality and machine learning

2022 Fiscal Year Research-status Report

• Project/Area Number: 19K03057
• Research Institution: Saga University
• Principal Investigator: 奥村 浩 佐賀大学, 理工学部, 教授 (50251195)
• Project Period (FY): 2019-04-01 – 2024-03-31
• Keywords: 仮想現実 / 指揮者 / 楽器演奏者 / 機械学習 / セルフトレーニングシステム / サイレントコミュニケーション

Outline of Annual Research Achievements

音楽のライブ演奏において、複数の演奏者が同時に演奏する場合、演奏者の耳で「相互に」聴き合う(聴覚)事が最も重要であることは言うまでも無いが、演奏 者間距離が離れている場合、音の伝達速度に起因する認識や反応の遅延が生じてしまう。優れた演奏者は経験上、こうした場合に聴覚とともに視覚情報を利用し ている。具体的には、管楽器や弦楽器奏者の発音直前の予備動作(いわゆるアインザッツ)や、指揮者の姿勢、顔の表情や手の動きから、さまざまな情報を読み 取って自分が取るべき反応(演奏)を行っている。本研究では、こうした演奏者間の動作や視線による「サイレント・コミュニケーション」に着目し、演奏場面 で生じる視覚と聴覚に対する刺激を拡張現実(Augmented Reality)で再現し、視覚系や聴覚系を含む大脳における情報処理過程を機械学習で模倣することによ り、ライブ演奏でのアンサンブル技術向上を目的とした、サイレント・コミュニケーションのトレーニングシステムの開発を試みる。 今年度までに実施したことは、これまで取得してきた指揮者のアクションの3Dデータに加え、フルートやクラリネット、オーボエやサクソフォンなどの木管楽器奏者のアインザッツアクションを指揮者のアクションを様々なカメラで撮影し同時に各種センサ(データグローブや深度センサ)でデータを取得し、nityを用 いた指揮者の仮想映像生成を行った。また、WebベースでのGUIや、演奏会録音部および解析部の実装を行った。

Current Status of Research Progress

3: Progress in research has been slightly delayed.

Reason

2020年３月からのCOVID19の影響で、データを取得させて頂く予定だった被験者との接触が制限された期間が断続的にあり、データ取得に遅延が生じ ている。 現在は、当初は指揮者や弦楽器、金管楽器、木管楽器と広く想定していたデータを取得させて頂く予定だった被験者の対象者や対象楽器の種類を絞り、手法やシステムの構築の方に重きを置いて進めている。 指揮者と演奏者とのサイレントコミュニケーショントレーニングシステムを先行構築し、楽器演奏者相互のサイレントコミュニケーショントレーニングシステム については、今後の継続研究として進めていくことに方針変更を行った。

Strategy for Future Research Activity

次年度(令和5年度)は、引き続いてデータの修得、解析、指揮者の仮想映像の改良を進めると共に、指揮者のや楽器演奏者のアインザッツ動作仮想映像に対する被訓練者のリアクションデータ (演奏音など)を取得、解析、評価する、リアクション解析部の構築を進める。 具体的には、指揮者と演奏者との位置関係の入力、被訓練者のリアクション(楽音)の取得・解析、指揮者の仮想映像から推定される打点タイミングと楽音との ずれや、指揮者と演奏者との位置関係に基づく音声の遅延到達時間の推定と評価を行い、それらの評価結果を画面表示する。 また、可能な限り改善へのヒントを自動生成し、被訓練者に対して呈示する機能の実装を目指す。

Causes of Carryover

COVID19の影響がまだ色濃く残っており、出張等に当初計上していた旅費の執行がなかったため、次年度使用額が生じている。 しかしながら、2023年度は、これまで使用を控えていた旅費や、データ解析や被験者への謝金による執行を行える見込みである。