2019 Fiscal Year Research-status Report
Research on advanced collaborative work of human and robot : Engineering realization of the pure temperament concerto system
| Project/Area Number |
19K04300
|
|---|
| Research Institution | Shizuoka Institute of Science and Technology |
|---|
Principal Investigator |
飛田 和輝 静岡理工科大学, 理工学部, 准教授 (70739094)
|
|---|
| Project Period (FY) |
2019-04-01 – 2022-03-31
|
| Keywords | 協調作業 / 純正律 / 演奏ロボット |
|---|
| Outline of Annual Research Achievements |
高い次元での協調作業として，人とロボットの協調による演奏（協奏）を実現することで，幅広い分野への展開が可能であると考えている．本研究の最終的な目標は，あらかじめ入力された楽譜情報をもとに，リアルタイムに人の演奏者に対して純正律のハーモニーを演奏するシステムを実現することにあり，これまでの楽器演奏ロボットや自動演奏システムでは考慮されることのなかった，純正律のハーモニーを実現するところに独自性，新規性がある．補助事業期間中の研究の範囲は，奏者が発音するタイミングに合わせて，和音構成音を発生するシステムの実現である．目的を実現するために，演奏者のタイミング検出を行う①奏者動作検出サブシステムと，発音すべき音は与えられているものとして，基準音が発生すると，目標の周波数で発音を開始し，基準音と発音した音との関係から，ピッチと音量を制御する②リアルタイム音量ピッチ制御サブシステムについて，2019年度の実績概要について述べる．
①奏者動作検出サブシステム：カメラ，3D TOFカメラ，マイクなど検出システムに使用するハードウェアを入手．3D TOFセンサ，ビデオを用いてアンサンブル中の演奏者（プロ奏者，ハイアマチュア奏者）のデータ取得を3件記録して，打点の抽出について解析を進めている．
②リアルタイム音量ピッチ制御サブシステム：サーボモータにより張力を制御可能とした弦と，往復運動を制御可能とした弓による発音装置を構築した．音叉による基準音をFFT解析し，相当する音を発音する原理確認まで実現している．
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
リアルタイム音量ピッチ制御サブシステムの張力制御用サーボモータの減速機のヒステリシスによる影響でピッチの制御に時間を要した点において，やや遅れている．一方，奏者動作の理解を優先し，サンプルは3件と少ないものの，先行してプロ奏者を含む奏者データ取得を進めていたため，新型コロナウィルス感染症が国内において拡大する前に，奏者動作検出サブシステムのアルゴリズム考案を遅滞なく実施する準備ができたので，トータルではおおむね順調に進展している，
|
| Strategy for Future Research Activity |
奏者動作検出サブシステムについて，2020年度は，新型コロナウィルス感染症の影響で，直近では演奏データの取得が困難であると予測されるので，当面はサンプルが少ないが，3件の演奏者のデータによる学習結果からタイミング予測信号を抽出するアルゴリズム作成に取り組む．また，オンライン会議でプロの演奏家からの理論的，経験的な情報収集などを進める．リアルタイム音量ピッチ制御サブシステムについて，基準音に対する和音構成音を発音し，張力制御により音のうねりを無くす制御アルゴリズムを構築，また，和音構成役割に応じた音量制御アルゴリズムの構築する．また，サブシステムを統合し，演奏者が基準音（ド）を発音し，そのタイミングに合わせてシステム側が和音構成音の長3度（ミ）の音を発音し，音量とピッチをリアルタイムに制御してうねりのない和音の発音を2020年度内に実現予定である．
|
| Causes of Carryover |
次年度使用額のうちの大部分は，制御用パソコン2台を期末間近に最新スペックのモデルを購入予定でしたが，コロナ禍の影響で納期が間に合わず断念したために発生してしまいました．次年度購入します．翌年度助成金については大きな変更はありません．
|
