Development of a Keyboard Performance Skill Estimation Method Based on Multimodal Biometric Data
| Project/Area Number |
19K12232
|
|---|
| Research Category |
Grant-in-Aid for Scientific Research (C)
|
| Allocation Type | Multi-year Fund |
|---|
| Section | 一般 |
|---|
| Review Section |
Basic Section 62020:Web informatics and service informatics-related
|
|---|
| Research Institution | Nagaoka University of Technology |
|---|
Principal Investigator |
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
秋元 頼孝 長岡技術科学大学, 工学研究科, 准教授 (00555245)
|
|---|
| Project Period (FY) |
2019-04-01 – 2023-03-31
|
| Project Status |
Completed (Fiscal Year 2022)
|
| Budget Amount *help |
¥4,420,000 (Direct Cost: ¥3,400,000、Indirect Cost: ¥1,020,000)
Fiscal Year 2021: ¥910,000 (Direct Cost: ¥700,000、Indirect Cost: ¥210,000)
Fiscal Year 2020: ¥1,300,000 (Direct Cost: ¥1,000,000、Indirect Cost: ¥300,000)
Fiscal Year 2019: ¥2,210,000 (Direct Cost: ¥1,700,000、Indirect Cost: ¥510,000)
|
|---|
| Keywords | マルチモーダル生体情報 / 演奏技能推定 / 認知シミュレーション / 脳血流量 / ATS理論 / 技能教育 / サービス情報 / マルチモーダル |
|---|
| Outline of Research at the Start |
本研究は，ピアノ演奏技能修得時の学習者の読譜/演奏時における視行動を主たる情報源として，学習者の潜在状態を表現する視聴覚-運動協調モニタリングの結果を活用した演奏熟達度評価手法の開発を行う．視線計測から得られる視行動データを用いて，学習者の脳活性度や演奏行動エラーパタンを推定し，学習者の潜在状態を記述する．(1) 読譜時/演奏時における視行動分析，を軸に，(2) 読譜時/演奏時の脳活性度計測結果，(3)ヒューマンエラー分類，(2)，(3) と(1) の関係を導くことによって，視行動パタンから視聴覚-運動協調の状況を学習者の潜在状態を反映した演奏熟達度であるとして，その評価を行う．
|
| Outline of Final Research Achievements |
The main issues in this study were (1) analysis of visual behavior during reading and performance, (2) measurement of brain activity during reading and performance, and (3) human error classification of keystroke errors that occur during performance. Because data for (2) could only be obtained for one piano instructor due to the Corona disaster, we focused on (1) and (3). For (1), we proposed the information acquisition range, which indicates the extent to which information is acquired from the area of the score during a single reading session, and the information acquisition time, which indicates the time spent there, as indicators of performance proficiency in visual behavior analysis during reading/performance. The simulation results showed that (3) was also predictable.
|
| Academic Significance and Societal Importance of the Research Achievements |
本課題は，鍵盤楽器演奏を例に，マルチモーダル生体情報に基づいて演奏技能推定手法を開発することを目的とした．これは，指導者の主観的な評価に頼らざるを得なかった学習者の演奏技能を生体情報を用いて事前に推定し，付与する課題難易度の適正を検討し，学習者の学習意欲を削がないことにあった．
同様の手法を用いることで，他の技能教育についても，知覚ー認知過程に即した
|
Report
(5 results)
Research Products
(12 results)
