Feature extraction of performance expressions for keyboard instruments and construction of an educational visualization system

2022 Fiscal Year Final Research Report

• Project/Area Number: 17K18158
• Research Category: Grant-in-Aid for Young Scientists (B)
• Allocation Type: Multi-year Fund
• Research Field: Entertainment and game informatics 1; Education on school subjects and activities
• Research Institution: Nihon University
• Principal Investigator: MITO Yuki 日本大学, 芸術学部, 教授 (10451303)
• Project Period (FY): 2017-04-01 – 2023-03-31
• Keywords: モーションキャプチャ / 動作解析 / 演奏動作 / 鍵盤楽器 / グランドピアノ / チェンバロ / 電子ピアノ / 教育用可視化システム

Outline of Final Research Achievements

The purpose of this study was to elucidate the relationship between emotions and movements during music performances. Therefore, to present the emotion expression method in music performance more clearly, the performance movement of the keyboard instrument player was measured using motion capture, and data were accumulated and analyzed. Furthermore, the goal of this study was to develop a graphical presentation system for performance education. Consequently, I was able to measure the performance movements of over 30 musicians using the motion capture system. From the data, I extracted performance expression characteristics and analyzed the correlation between emotions and movement. Furthermore, based on this data, I developed a graphical visualization system for performance education.

Free Research Field

情報音楽

Academic Significance and Societal Importance of the Research Achievements

音楽の演奏における感情表現は、演奏において重要なポイントのひとつである。しかし、この感情表現の方法は、教師の「感覚」によりレクチャーされている。ある程度の実力をもつ演奏家であれば、この「感覚」が理解できるであろう。しかし、教育現場において研鑽過程の演奏家では、この「感覚」を理解できないことが少なからず生じている。また、教師により、レクチャーの意図が異なる場合もある。そこで、本研究で開発した教育用可視化システムを実際のレッスンで用いることにより、研鑽過程の学生にも、わかりやすく、具体的かつ正確に教示することができるであろう。このような研究は未だないことから社会的意義が大きいと考える。