2021 Fiscal Year Annual Research Report
Research on advanced collaborative work of human and robot : Engineering realization of the pure temperament concerto system
| Project/Area Number |
19K04300
|
|---|
| Research Institution | Shizuoka Institute of Science and Technology |
|---|
Principal Investigator |
飛田 和輝 静岡理工科大学, 理工学部, 教授 (70739094)
|
|---|
| Project Period (FY) |
2019-04-01 – 2022-03-31
|
| Keywords | 協調作業 / 純正律 / 演奏ロボット / ニューラルネットワーク / 骨格検出 |
|---|
| Outline of Annual Research Achievements |
高次元の協調作業として，人とロボットの協調による演奏（協奏）を実現することで，幅広い分野への展開が可能であると考えている．本研究の最終的な目標は，あらかじめ入力された楽譜情報をもとに，リアルタイムに人の演奏者に対して純正律のハーモニーを演奏するシステムを実現することにあり，これまでの楽器演奏ロボットや自動演奏システムでは考慮されることのなかった，純正律のハーモニーを実現するところに独自性，新規性がある．補助事業期間中の研究の範囲は，奏者が発音するタイミングに合わせて，和音構成音を発生するシステムの実現である．目的を実現するために，演奏者のタイミング検出を行う奏者動作検出サブシステムと，発音すべき音は与えられているものとして，基準音に対して目標の周波数で発音し，基準音と発音した音との関係から，ピッチと音量を制御するリアルタイム音量ピッチ制御サブシステムの研究を進めた．
[奏者動作検出サブシステム]RGB-Dカメラで取得した画像から，トラッカ，骨格検出アルゴリズム等を用いて奏者の顔および主要な関節の動きをトラッキングし，その座標履歴を特徴量としたニューラルネットワークを構成し，打点の検出を±0.5秒，検出率約85%で実現した．
[リアルタイム音量ピッチ制御サブシステム]弓往復機構による発音装置および，より安定した音量，ピッチが発音可能な回転円盤弓による発音装置を設計，製作し，弦の振動モデルを考慮したPID制御を実装することで，1Hzの分解能で指令周波数を発音するサブシステムを構築した．
2つのサブシステムを統合し，奏者の演奏タイミングに合わせて，和音構成音を純正律で奏でることを実現した．今後，検出速度の向上，ロバスト化，発音装置の応答性向上などが課題として取り組みながら，産業界への応用事例を研究予定である．
|
