Development of silent communication training system on music performance using augmented reality and machine learning

2020 Fiscal Year Research-status Report

• Project/Area Number: 19K03057
• Research Institution: Saga University
• Principal Investigator: 奥村 浩 佐賀大学, 理工学部, 教授 (50251195)
• Project Period (FY): 2019-04-01 – 2024-03-31
• Keywords: サイレント・コミュニケーション / 拡張現実 / 機械学習 / 器楽演奏

Outline of Annual Research Achievements

本研究は、演奏者間の動作や視線による「サイレント・コミュニケーション」に着目し、演奏場面で生じる視覚と聴覚に対する刺激を拡張現実（Augmented Realit：AR）で再現し、視覚系や聴覚系を含む大脳における情報処理過程を機械学習で模倣することにより、ライブ演奏でのアンサンブル技術向上を目的とした、サイレント・コミュニケーションのトレーニングシステムの開発を目的としている。
研究計画に従い、今年度は、指揮者および熟練器楽演奏者の多視点カメラ映像を継続撮影、多視点カメラ映像をベースとして、ヘッドマウントディスプレイ上に、AR映像を生成するシステムの構築、初年度に開発した部分の機能改善や拡張を行った。
まず、指揮者、木管楽器奏者、金管楽器奏者、弦楽器奏者、打楽器奏者のサンプルを選び、演奏開始時や指示伝達のケースを可能なパターン数想定し、実演をしてもらった上で、360度カメラやRGBDカメラを用いてデータを収集した。しかしながら、これらのデータ収集は人間を対象としているため、１年間にわたるCOVID-19の影響（緊急事態宣言等による実験施設への入構禁止措置等）が大きく、予定していたデータが充分得られなかった。
また、それと並行して、ヘッドマウントディスプレイ上に、AR映像を生成するシステムの構築を行った、ARやVR技術を応用した訓練支援システムを開発、運用する場合に特に留意しなければならない「VR酔い」に対する対策の検討を進めている。今回使用する予定のVRゴーグルは、内部に各種センサを有しており、そのデータを逐次収集しながら、利用者が技術修得に集中できる環境の構築を目指している。実証実験や評価には利用映像の品質がまだ不十分であったため、2021年度にこの課題に先ず取り組む計画である。

Current Status of Research Progress

3: Progress in research has been slightly delayed.

Reason

データの収集の対象が人間であるため、不可抗力であるが、１年間にわたるCOVID-19の影響が大きく、予定していたデータが充分得られなかった点が遅延の主要因である。

Strategy for Future Research Activity

COVID-19の影響がまだ残っているため、困難な面はあるが、現在やや不足している映像や計測データの収集と、現在開発中のプロトタイプシステムの改良を行う。
具体的には、指揮者および熟練器楽演奏者の多視点カメラ映像を継続撮影と多視点カメラ映像をベースとして、ヘッドマウントディスプレイ上に、AR映像を生成するシステムの改良である。
次に、当初の計画であった、ヘッドマウントディスプレイに搭載した6軸姿勢センサデータから、顔の向きに応じたAR映像を生成するシステムの構築と、トレーニング中の演奏者の演奏音や動作を取得し、構成したデータベースおよび判別器を基に、演奏音や動作が適切であったかどうかの評価を行うシステムの構築を行う。

Causes of Carryover

次年度使用額が生じた理由は、COVID-19の影響により、学会への参加やデータ収集の出張費用などが残余したためである。
次年度（令和３年度）は、現時点ではまだまだ予断を許さない状況ではあるが、学会参加やデータ収集を行う際に当該年度予算に加算して使用する計画である。