| 研究課題/領域番号 |
19K03057
|
|---|
| 研究機関 | 佐賀大学 |
|---|
研究代表者 |
奥村 浩 佐賀大学, 理工学部, 教授 (50251195)
|
|---|
| 研究期間 (年度) |
2019-04-01 – 2024-03-31
|
| キーワード | 仮想現実 / 指揮者 / 楽器演奏者 / 機械学習 / トレーニングシステム / サイレントコミュニケーション |
|---|
| 研究実績の概要 |
音楽のライブ演奏において、複数の演奏者が同時に演奏する場合、演奏者の耳で「相互に」聴き合う（聴覚）事が最も重要であることは言うまでも無いが、演奏者間距離が離れている場合、音の伝達速度に起因する認識や反応の遅延が生じてしまう。優れた演奏者は経験上、こうした場合に聴覚とともに視覚情報を利用している。具体的には、管楽器や弦楽器奏者の発音直前の予備動作（いわゆるアインザッツ）や、指揮者の姿勢、顔の表情や手の動きから、さまざまな情報を読み取って自分が取るべき反応（演奏）を行っている。本研究では、こうした演奏者間の動作や視線による「サイレント・コミュニケーション」に着目し、演奏場面で生じる視覚と聴覚に対する刺激を拡張現実（Augmented Reality）で再現し、視覚系や聴覚系を含む大脳における情報処理過程を機械学習で模倣することにより、ライブ演奏でのアンサンブル技術向上を目的とした、サイレント・コミュニケーションのトレーニングシステムの開発を試みる。
今年度までに実施したことは、(1) 指揮者のアクションを様々なカメラで撮影し同時に各種センサ(データグローブや深度センサ)でデータを取得、(2) 機械学習に基づく手法（CMUのOpenposeやGoogle BlazePoseなど）により身体の各特徴点および、指揮棒の先端点の座標データを取得、(3) (2)のデータを基にUnityを用いた指揮者の仮想映像生成である。しかしながら、現在のモデルや仮想映像には、まだまだ改良しなけばならない問題点が残されている。特に動きの滑らかさや視点の多様さなどに関しては更なる改良が必要である。また、演奏者側の映像やセンサデータの取得に遅延を生じており、この点も今後の改善が必要である。
|
| 現在までの達成度 (区分) |
現在までの達成度 (区分)
3: やや遅れている
理由
一昨年からのCOVID19の影響で、データを取得させて頂く予定だった被験者との接触が制限された期間が断続的にあり、充分なデータの取得に大きな遅延が生じている。
現在は、当初は指揮者や弦楽器、金管楽器、木管楽器と広く想定していたデータを取得させて頂く予定だった被験者を、一旦指揮者に絞り、手法やシステムの構築の方に重きを置いて進めている。
指揮者と演奏者とのサイレントコミュニケーショントレーニングシステムを先行構築し、楽器演奏者相互のサイレントコミュニケーショントレーニングシステムについては、今後の継続研究として進めていくことに方針変更を行った。
|
| 今後の研究の推進方策 |
次年度（令和４年度）は、引き続いてデータの修得、解析、指揮者の仮想映像の改良を進めると共に、指揮者の仮想映像に対する被訓練者のリアクションデータ（演奏音など）を取得、解析、評価する、リアクション解析部の構築を進める。
具体的には、指揮者と演奏者との位置関係の入力、被訓練者のリアクション（楽音）の取得・解析、指揮者の仮想映像から推定される打点タイミングと楽音とのずれや、指揮者と演奏者との位置関係に基づく音声の遅延到達時間の推定と評価を行い、それらの評価結果を画面表示する。
また、可能な限り改善へのヒントを自動生成し、被訓練者に対して呈示する機能の実装を目指す。
|
| 次年度使用額が生じた理由 |
COVID19の影響がまだ色濃く残っており、出張等に当初計上していた旅費の執行がなかったため、次年度使用額が生じている。
しかしながら、2022年度は、すでに国際会議発表の申請をしており、これまで使用を控えていた旅費の執行も行える見込みである。
|
