2020 Fiscal Year Research-status Report
楽器演奏者のmotionとemotionの定量的解析および演奏表現の可視化の研究
| Project/Area Number |
17K02379
|
|---|
| Research Institution | Nihon University |
|---|
Principal Investigator |
川上 央 日本大学, 芸術学部, 教授 (20307888)
|
|---|
| Project Period (FY) |
2017-04-01 – 2022-03-31
|
| Keywords | モーション / 演奏 / 二次元化 |
|---|
| Outline of Annual Research Achievements |
Juslinの2Dimentionsでの音楽感情の測定法はリアルタイムでの音楽感情の変化を記録することを可能としているが、本年度も、この基礎実験数を増やし、モーションデータから感情価を抽出する方法を実現化させることを目標にして研究をスタートさせた。
2018－19年度に計測した楽器および演奏者のデータ結果を踏まえて、その演奏と関連性が検討できる演奏者を選び、楽器演奏時のモーション計測を行った。このデータから動作速度、加速度、周波数分析、動きの位置、角度の変化などの詳細なデータ分析を行い、申請者らが開発した平均モーション法を用いて平均的動作と各感情の動作の差を用いて分析を行った。各感情などの特徴と演奏者のデータを視覚的にわかりやすいように、GUIの作成の準備を行っており、具体的には、身体各部の力の量をアレイ表示し、感情量については感情ごとにレベル表示を行うGUIの作成を目指しており、概ね完成している。
さらには、これまで記録したモーションデータをもとに、平均モーション法や周波数解析など解析方法以外の方法について検討を行っている。特に、演奏動作には複数の要素が混在しているため、解析区間を細分化して重回帰分析を行い、それぞれの部位の演奏に対する影響について詳細な検討を行った。
2019年度に進めた解析方法によって、音楽感情価「やさしさ」に関して演奏動作との相関の可能性が見えた。これにより、解析区分を細分化しているが、細分化する区間については ディープラーニングを行っているため、区間設定までに時間が要することがわかり、2020年度は区間設定の再検討を行った。その結果、他の音楽感情要素との違いはあまり顕著ではなく、演奏運動の記録方法を検討する必要があることが判明した。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
演奏モーションの記録に関しては概ね良好に行ってきたが、解析方法の検討においては、従来の方法とは違う計算方式を取り入れている。そのため、すぐに目的とする結果を出してはいないが、従来の方法では分析しきれない点についての検討を行っているため、進捗状況としては進展している。
|
| Strategy for Future Research Activity |
ディープラーニングのライブラリがこの1年でかなり豊富になっているので、ノイズ除去や予想モデルなどは、複数のライブラリを活用して合理的に解析を行って行く予定である。さらには、計測方法も変えて、従来の方法との差分から、合理的なモデルを構築していく予定である。
|
| Causes of Carryover |
当初予定していた学会と国際会議がオンラインとなり、旅費等の使用がなかったことと、対面実験ができないことから謝礼の支出が生じなかったため。
令和3年度は国内学会や国際会議（オンライン予定）に複数申請していることと、追加演奏実験のための楽曲制作と演奏の関係について検討を行う予定である。
|
