Development of silent communication training system on music performance using augmented reality and machine learning

2019 Fiscal Year Research-status Report

• Project/Area Number: 19K03057
• Research Institution: Saga University
• Principal Investigator: 奥村 浩 佐賀大学, 理工学部, 教授 (50251195)
• Project Period (FY): 2019-04-01 – 2024-03-31
• Keywords: サイレント・コミュニケーション / 拡張現実 / 機械学習 / 器楽演奏

Outline of Annual Research Achievements

本研究では、管楽器や弦楽器奏者の発音直前の予備動作（いわゆるアインザッツ）や、指揮者の姿勢、顔の表情や手の動きから、さまざまな情報を読み取って自分が取るべき反応（演奏）を行う、演奏者間の動作や視線による「サイレント・コミュニケーション」に着目し、演奏場面で生じる視覚と聴覚に対する刺激を拡張現実（Augmented Realit：AR）で再現し、視覚系や聴覚系を含む大脳における情報処理過程を機械学習で模倣することにより、ライブ演奏でのアンサンブル技術向上を目的とした、サイレント・コミュニケーションのトレーニングシステムの開発を試みる。
初年度は、多視点カメラ、サーモグラフィ、３Ｄ深度カメラを用いて指揮者およびいくつかの楽器の熟練演奏者の映像を撮影すると共に、AR映像のプロトタイプを作成した。

Current Status of Research Progress

3: Progress in research has been slightly delayed.

Reason

本補助金で購入した高解像度カメラを用いて、数名の指揮者や管楽器演奏者の動きの撮影を行った。これは、次年度以降の動作解析や、ＶＲ映像作成のための基礎データとなる。
また、サーモグラフィカメラや３Ｄ深度カメラでも同時撮影を行っている。
計画通り遂行できなかった部分としては、ＶＲゴーグルが当初予定していた機種（Microsoft Holo Lens 2）の発売が大幅に遅延しているため、VR部分の映像作成を他機種で進めているが、 Holo Lens 2が有している視線追跡機能が現行機種には実装されていないため、その部分については、当該機種発売以降となる。

Strategy for Future Research Activity

次年度は、今年度十分実施できなかった多層ニューラルネットワークを用いて、多視点カメラ映像から特徴抽出を行うための機械学習を行うと共に、機械学習結果を用いた、動作や表情の特徴に関するデータベースや判別器の構成、演奏者や指揮者の視線データ収集を進める。
さらに、次年度の当初計画であった、指揮者および熟練器楽演奏者の多視点カメラ映像の継続撮影、多視点カメラ映像をベースとして、ヘッドマウントディスプレイ上に、 AR映像を生成するシステムの構築を行う。

Causes of Carryover

今年度発売予定だったMicrosoft社のHoloLensIIが発売延期になってしまったため、当初の機器購入予定が変更になってしまったため。