2020 Fiscal Year Research-status Report
Building and Evaluation of Performance Feedback System for a Violin-playing Robot
| Project/Area Number |
20K12131
|
|---|
| Research Institution | Ryukoku University |
|---|
Principal Investigator |
渋谷 恒司 龍谷大学, 先端理工学部, 教授 (20287973)
|
|---|
| Project Period (FY) |
2020-04-01 – 2023-03-31
|
| Keywords | バイオリン演奏 / 演奏フィードバック / 強化学習 / ヒューマン・ロボット・インタラクション |
|---|
| Outline of Annual Research Achievements |
演奏中フィードバックシステム（以下，FBS）構築の第一歩として，音の周波数解析をパソコン上で行うためのシステム開発を開始した．本システムは，マイクとサウンドボードを通してバイオリン音をパソコン(OSはLinux)で計測するものである．本年度は，音源データと計測音の比較を通して，原音とほぼ同じ周波数解析結果が出力するための，機器の設定方法を検討した．
演奏後FBS構築の第一歩として，強化学習を用いた演奏動作決定方法について検討した.強化学習を支配するパラメータとして，学習率，ランダム行動確率，ランダム行動確立を0としてシミュレーションを行った．シミュレーションでは，目標音圧に近い演奏動作を生成できたときに報酬を大きくしている．その結果，以下のことが明らかとなった．（１）学習率は0.5が，累積報酬が高くなる.（２）目標音圧の変化による強化学習への影響は小さい．
バイオリン演奏ロボットによる生成音のさらなる音質向上を目指し，特に左右のロボットハンドの開発を行った．右ハンドについては，指先に空洞を有し，それをシリコン膜で覆った指を製作した．空洞内の空気圧を上昇させることで膜が膨らみ，弓を柔らかく持つことが可能である．これにより演奏時の弓の振動を抑えることに成功した．左指については，これまで指の間隔を調整可能でかつバイオリンの指版を押さえることの可能なハンドを製作した．これにより，より適切な音程での演奏が可能になった．運動生成で考慮する必要のある，左指の動作開始までの遅れ時間についても計測した．そして，「むすんでひらいて」の２小節を演奏することに成功した．
|
| Current Status of Research Progress |
Current Status of Research Progress
3: Progress in research has been slightly delayed.
Reason
新型コロナウィルスの影響で，大学施設を使った研究ができない時期があり，また，予定していた，被験者を伴う音質評価と演奏音に関する実験が不可能になったため．
|
| Strategy for Future Research Activity |
演奏中FBSの構築のため，音圧をリアルタイムで導出できるシステムを構築し，ロボットの演奏中の動作調整を実現する．演奏後FBSについては，強化学習による演奏動作決定手法の構築を進め，演奏音の評価を基にした演奏動作変更を実現する．バイオリン演奏ロボットについては，右手指先の機構を詳細に検討し，より良い音質の音が生成できるような弓の把持機構を構築する．左手については，更に小型化できないかを検討する．
|
| Causes of Carryover |
昨年度はコロナウィルスの影響により，被験者を用いた実験が不可能だったことと，大学施設が使えない期間があり研究が予定通り進められなかったため．また，諸学会がすべてオンラインとなったため出張旅費が不要になったため．今年度もコロナウィルスの影響は残るため，出張旅費は不要になる可能性が高い．バイオリン演奏ロボットの改修や音計測システムの構築は可能であると考えられるので，費用はそのために用いる計画である．
|
