2021 Fiscal Year Research-status Report
楽器演奏者のmotionとemotionの定量的解析および演奏表現の可視化の研究
| Project/Area Number |
17K02379
|
|---|
| Research Institution | Nihon University |
|---|
Principal Investigator |
川上 央 日本大学, 芸術学部, 教授 (20307888)
|
|---|
| Project Period (FY) |
2017-04-01 – 2023-03-31
|
| Keywords | モーション / 演奏 / 感情 |
|---|
| Outline of Annual Research Achievements |
Juslinの2Dimentionsでの音楽感情の測定法はリアルタイムでの音楽感情の変化を記録することを可能としているが、モーションデータから感情価を抽出する方法を実現化させることを目標にして研究をスタートさせた。すでにに計測した楽器および演奏者のデータ結果を踏まえて、その演奏と関連性が検討できる演奏者を選び、楽器演奏時のモーション計測を行った。このデータから動作速度、加速度、周波数分析、動きの位置、角度の変化などの詳細なデータ分析を行い、申請者らが開発した平均モーション法を用いて平均的動作と各感情の動作の差を用いて分析を行った。
現在は、これまで記録したモーションデータをもとに、平均モーション法や周波数解析など解析方法以外の方法について検討を行っている。特に、演奏動作には複数の要素が混在しているため、解析区間を細分化して重回帰分析を行い、それぞれの部位の演奏に対する影響について詳細な検討を行った。2019年度に進めた解析方法によって、音楽感情価「やさしさ」に関して演奏動作との相関の可能性が見えた。これにより、解析区分を細分化しているが、細分化する区間については ディープラーニングを行っているため、区間設定までに時間が要することがわかり、2020年度は区間設定の再検討を行った。その結果、他の音楽感情要素との違いはあまり顕著ではなく、演奏運動の記録方法を検討する必要があることが判明した。2021年度には引き続きコロナ渦の影響が続いたため、モーションキャプチャの実験を実施することが困難であったため、2020年度に行った区間データの精度を高めた解析を行った。その結果、Juslinの５つの感情において、それぞれの感情の中でもフレーズの特徴によって動作の違いがあることが示唆された。
|
| Current Status of Research Progress |
Current Status of Research Progress
4: Progress in research has been delayed.
Reason
これまでの計測データを解析したところ、数点、演奏動作を変えて計測する必要があることがわかっている。しかしながら、新型コロナウイルス感染症の影響で、学内で外部演奏者の実験を行うことが不可能であり、なおかつ、モーションキャプチャの実験においては、光学的システムを利用しているため、窓などを締め切り外部光を遮る必要があるため、感染予防対策に適した実験室の確保が困難であった。
|
| Strategy for Future Research Activity |
モーションキャプチャの実験は光学的な要素が入るため、換気等のコロナ対策を施すことが難しい。さらには、長時間の実験になるため、いったん計測はあきらめ、これまで計測したデータを機械学習によってモデル化する方向に切り替える。
現在、グラフィックボードなどの発展によって、AIによる分析やモデル化を高速で行うことができるコンピュータが出現している。これまでの実験データを区間ごとに切り分け、これらのデータを学習させて感情との関係性を検討する研究方法に変更する。
この課題を応募した時よりも人工知能の精度は各段に上がっているため、当時予定していたできる限り多くの演奏モーションを計測するという方法よりも、より精度の高い研究成果が得られることが予想される。
|
| Causes of Carryover |
2021年度に予定していた演奏モーションの計測実験が行えず、謝礼等の実験に関わる費用がかからなかった。新型コロナ感染症に関しては、昨年度よりも状況は好転しているが、やはり、感染対策は必要不可欠であり、今年度内に演奏モーション計測の実験を行うことは不可能であると判断した。そのため、DeepLeaningを最大限利用し、これまでに計測したデータから、より精度の高い結果を見出す方向に計画を変更する。
そのため、DeepLeaningに適した高速演算が可能なコンピュータの購入を予定している。具体的には、GPUが重要であるが、AppleのM1Proプロセッサを搭載したコンピュータを購入し、Pythonのニューラルネットワークを利用した解析を行っていく。
|
