2023 Fiscal Year Research-status Report

Relationship between Performance Skill and Style in Violin-playing Robot

Research Project

Project/Area Number	23K11386
Research Institution	Ryukoku University
Principal Investigator	渋谷恒司龍谷大学, 先端理工学部, 教授 (20287973)
Project Period (FY)	2023-04-01 – 2026-03-31
Keywords	バイオリン演奏 / 演奏スタイル / 演奏技術 / ロボット / 強化学習
Outline of Annual Research Achievements	対象とする演奏技術として，操弓における移弦に着目した．移弦とは，切り返しや操弓途中で弾く弦を変えることである．移弦動作が行えるかどうかは演奏する弦の選択にも影響すると考えられ，ひいては演奏スタイルにも影響を与えると考えられるためである．本科研費予算で導入したモーションキャプチャーシステムを用いて，予備実験として，経験者であるアマチュア演奏家１名の移弦動作を計測した．特に手先関節の軌道に着目して分析した結果，G弦を含む移弦動作における手関節の軌道が曲線的で，他の移弦動作は比較的直線的であることが分かった．この結果は，ロボットによる移弦動作実現において基礎データになると考えられる．本研究で開発している７自由度双腕のロボットハードアームを用い，A弦からE弦への移弦動作の実現を試みた．まず，切り返し時における移弦動作に着目し，手先位置の軌道を求め，逆運動学計算によって各関節角度の軌道を計算した．そして，ロボットハードウエアで手先の位置を変更することができた．今回は切り返し位置における動作だけだったが，ボーイング途中での移弦も実現する必要がある．また，これとは別に，より表現力を高めた演奏を実現するべく，左ハンドの設計・製作を行った．これらの研究とともに，強化学習による楽譜から演奏動作への変換システムの構築も行った．本研究で従来行ってきた２小節から４小節に拡大し，その際の適切な学習パラメータの探索を行った．また，人間の演奏における音圧を目標値にしてきたが，音圧を変更してもシステムを適用できることを示すことできた．また，音の評価として本研究でこれまでに得られていた音圧と弓速の関係式を用いてきたが，それは弓の位置で変わると考えられる．そのことを実験的に明らかにし，今後の学習システムを構築する上での基礎データを得ることができた．
Current Status of Research Progress	Current Status of Research Progress 2: Research has progressed on the whole more than it was originally planned. Reason 移弦動作に着目し，予備実験を通してその動作分析方法の糸口を見出すことができた．ハードウエアについては，切り返し時の移弦動作の一部を生成できた．強化学習に関しても，小節数を拡大してシステムを駆動することができたため．
Strategy for Future Research Activity	熟練者，経験者，未経験者など，習熟度の異なる演奏者を対象として移弦動作の解析を行い，演奏スキルの違いの定量化を試みる．また，移弦動作が演奏スタイルにどのような影響を与えているのかを明らかにすることを目指す．上記演奏分析とともに，ロボットハードウエアを用いた移弦動作については，切り返し時だけではなく，ボーイング途中での移弦動作の実現を試みる．強化学習を用いた演奏動作決定システムにおいては，習熟度の違いをシステムに導入することを試みる．
Causes of Carryover	モーションキャプチャーシステムの習熟に時間がかかり，人間を対象とした実験が少なかったため，残額が生じた．今年度はオープンアクセスジャーナルへの投稿を予定しており，その掲載料として使いたいと考えている．