| 研究課題/領域番号 |
19K04300
|
|---|
| 研究機関 | 静岡理工科大学 |
|---|
研究代表者 |
飛田 和輝 静岡理工科大学, 理工学部, 准教授 (70739094)
|
|---|
| 研究期間 (年度) |
2019-04-01 – 2022-03-31
|
| キーワード | 協調作業 / 純正律 / 演奏ロボット |
|---|
| 研究実績の概要 |
高い次元での協調作業として，人とロボットの協調による演奏（協奏）を実現することで，幅広い分野への展開が可能であると考えている．本研究の最終的な目標は，あらかじめ入力された楽譜情報をもとに，リアルタイムに人の演奏者に対して純正律のハーモニーを演奏するシステムを実現することにあり，これまでの楽器演奏ロボットや自動演奏システムでは考慮されることのなかった，純正律のハーモニーを実現するところに独自性，新規性がある．補助事業期間中の研究の範囲は，奏者が発音するタイミングに合わせて，和音構成音を発生するシステムの実現である．目的を実現するために，演奏者のタイミング検出を行う①奏者動作検出サブシステムと，発音すべき音は与えられているものとして，基準音が発生すると，目標の周波数で発音を開始し，基準音と発音した音との関係から，ピッチと音量を制御する②リアルタイム音量ピッチ制御サブシステムについて，2020年度の実績概要について述べる．
①奏者動作検出サブシステム：RGB-Dカメラの画像処理から奏者の顔の動きをトラッキングし，座標差分値の履歴を入力としたニューラルネットワークを構成し，打点の抽出を実装した．
②リアルタイム音量ピッチ制御サブシステム：2019年度に製作した弓往復機構による発音装置より安定した音量，ピッチが発音可能な回転円盤弓による発音装置に設計変更した．また，弦の振動モデルを考慮したPID制御を実装し，指令周波数を発音するサブシステムを構築した．
|
| 現在までの達成度 (区分) |
現在までの達成度 (区分)
2: おおむね順調に進展している
理由
新型コロナウィルス感染症の影響でプロ奏者に直接指導をいただく機会がとれなかったが，システムを構成する以下の基本的な機能の実装が進められた．奏者動作検出サブシステムでは，奏者の顔の動きに基づき機械学習で打点の抽出の実装．リアルタイム音量ピッチ制御サブシステムでは，弦の振動モデルを考慮したPID制御の実装．以上のようにトータルではおおむね順調に進展している，
|
| 今後の研究の推進方策 |
リアルタイム音量ピッチ制御サブシステムについては，周波数PID制御のチューニングによる誤差低減を進めるほか，和音構成役割に応じた音量制御を実装する．また，サブシステムを統合し，演奏者が基準音（ド）を発音し，そのタイミングに合わせてシステム側が和音構成音の長3度（ミ），完全5度（ソ）の音を発音し，音量とピッチをリアルタイムに制御してうねりのない和音の発音を実現する．妥当性の評価として，学内で被験者実験を行う．さらに，新型コロナウィルス感染症の状況次第ではあるが，プロ奏者に直接指導をいただく機会を設けたい．
|
| 次年度使用額が生じた理由 |
コロナ禍の影響で，プロ奏者に直接指導を受ける機会がとれなかったことと，12月のタイでの国際会議もオンラインでの参加となったため旅費が未執行となった．次年度は，オンラインであってもプロ奏者に指導を受ける機会を設けるほか，国際会議への対面参加は依然難しいと考えられるが，論文投稿費用，論文校正費用として有効に活用させていただく予定である．
|
