2020 Fiscal Year Research-status Report
Research on advanced collaborative work of human and robot : Engineering realization of the pure temperament concerto system
| Project/Area Number |
19K04300
|
|---|
| Research Institution | Shizuoka Institute of Science and Technology |
|---|
Principal Investigator |
飛田 和輝 静岡理工科大学, 理工学部, 准教授 (70739094)
|
|---|
| Project Period (FY) |
2019-04-01 – 2022-03-31
|
| Keywords | 協調作業 / 純正律 / 演奏ロボット |
|---|
| Outline of Annual Research Achievements |
高い次元での協調作業として，人とロボットの協調による演奏（協奏）を実現することで，幅広い分野への展開が可能であると考えている．本研究の最終的な目標は，あらかじめ入力された楽譜情報をもとに，リアルタイムに人の演奏者に対して純正律のハーモニーを演奏するシステムを実現することにあり，これまでの楽器演奏ロボットや自動演奏システムでは考慮されることのなかった，純正律のハーモニーを実現するところに独自性，新規性がある．補助事業期間中の研究の範囲は，奏者が発音するタイミングに合わせて，和音構成音を発生するシステムの実現である．目的を実現するために，演奏者のタイミング検出を行う①奏者動作検出サブシステムと，発音すべき音は与えられているものとして，基準音が発生すると，目標の周波数で発音を開始し，基準音と発音した音との関係から，ピッチと音量を制御する②リアルタイム音量ピッチ制御サブシステムについて，2020年度の実績概要について述べる．
①奏者動作検出サブシステム：RGB-Dカメラの画像処理から奏者の顔の動きをトラッキングし，座標差分値の履歴を入力としたニューラルネットワークを構成し，打点の抽出を実装した．
②リアルタイム音量ピッチ制御サブシステム：2019年度に製作した弓往復機構による発音装置より安定した音量，ピッチが発音可能な回転円盤弓による発音装置に設計変更した．また，弦の振動モデルを考慮したPID制御を実装し，指令周波数を発音するサブシステムを構築した．
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
新型コロナウィルス感染症の影響でプロ奏者に直接指導をいただく機会がとれなかったが，システムを構成する以下の基本的な機能の実装が進められた．奏者動作検出サブシステムでは，奏者の顔の動きに基づき機械学習で打点の抽出の実装．リアルタイム音量ピッチ制御サブシステムでは，弦の振動モデルを考慮したPID制御の実装．以上のようにトータルではおおむね順調に進展している，
|
| Strategy for Future Research Activity |
リアルタイム音量ピッチ制御サブシステムについては，周波数PID制御のチューニングによる誤差低減を進めるほか，和音構成役割に応じた音量制御を実装する．また，サブシステムを統合し，演奏者が基準音（ド）を発音し，そのタイミングに合わせてシステム側が和音構成音の長3度（ミ），完全5度（ソ）の音を発音し，音量とピッチをリアルタイムに制御してうねりのない和音の発音を実現する．妥当性の評価として，学内で被験者実験を行う．さらに，新型コロナウィルス感染症の状況次第ではあるが，プロ奏者に直接指導をいただく機会を設けたい．
|
| Causes of Carryover |
コロナ禍の影響で，プロ奏者に直接指導を受ける機会がとれなかったことと，12月のタイでの国際会議もオンラインでの参加となったため旅費が未執行となった．次年度は，オンラインであってもプロ奏者に指導を受ける機会を設けるほか，国際会議への対面参加は依然難しいと考えられるが，論文投稿費用，論文校正費用として有効に活用させていただく予定である．
|
Research Products
(2 results)
