2021 Fiscal Year Research-status Report
マルチモーダル生体情報に基づく鍵盤楽器演奏技能推定手法の開発
| Project/Area Number |
19K12232
|
|---|
| Research Institution | Nagaoka University of Technology |
|---|
Principal Investigator |
中平 勝子 長岡技術科学大学, 工学研究科, 准教授 (80339621)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
秋元 頼孝 長岡技術科学大学, 工学研究科, 准教授 (00555245)
|
|---|
| Project Period (FY) |
2019-04-01 – 2023-03-31
|
| Keywords | 技能教育 / サービス情報 / マルチモーダル |
|---|
| Outline of Annual Research Achievements |
本研究における課題は次のとおりである．(1)読譜時/演奏時における視行動分析，を軸に，(2)読譜時/演奏時の脳活性度計測結果，(3)演奏時に発生する打鍵ミスに対するヒューマンエラー分類，および，(2)，(3)と(1)の関係を導くこと．令和３年度は，特に（3）の演奏時に発生する打鍵ミスに対するヒューマンエラー分類やACT-R理論を援用した音価判定過程のモデル化およびシミュレーション，練習スケジュールと学習速度，打鍵ミスとの関係等，鍵盤楽器演奏時のアクションスリップの分類結果と音楽記号の認識能力の関係を見出すため，音符認識過程のモデル化を行った．
加えて，鍵盤楽器学習初学者の練習を想定した視覚による楽譜呈示・聴覚による音高呈示を続けて行なった後，呈示された内容を鍵盤にて再現する際の脳波の変化についても計測を行なった．実験は3回行なったが，その結果，音楽処理に関する部位については活性度が上昇し，視覚野については実験回数とともに活性度が減少することが確認された．
以上の結果から，（2）における視覚野の活性度減少と，過去の研究成果から，（1）の視行動については
（3）については，特に音価判定の間違いに着目し，練習スケジュールとエラーの関係につき，アクションスリップ分類の基礎であるATS理論とACT-R理論を援用し，ノイズを含めた活性方程式と検索確率方程式に従って音符要素から音符種別の判定を行った．また，出力結果のうち誤答を出力した原因をATS理論を用いて分類した．その結果，ACT-R理論における基礎活性・連合強度・原始活性と低出現頻度音符の間違い（キャプチャエラー），および基礎活性と練習スケジュールの影響（連想活性化エラー）を部分的に再現することができた．
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
当初予定では，プロの音楽講師を招聘の上，職業人の読譜時脳活性を年度末までに計測する予定であったが，COVID-19に伴って人の移動が困難となり，招聘もしくは本学から出向いての実験が困難となったため，計画を若干変更し，音符認知過程の構築や初学者・熟達者双方の読譜状況を表現可能なACT-Rを援用した認知過程モデルの構築および簡易シミュレーションを行えた．その結果，論文公開1件・学会発表3件・国際会議発表1件を行うことができた．以上のことから，概ね順調に進捗していると考えている．
|
| Strategy for Future Research Activity |
COVID-19の影響により，職業人の読譜時脳活性の計測が残ってしまったため，2022年度，COVID-19の影響が減少した頃を見計らって実験を行う予定である．
|
| Causes of Carryover |
COVID-19の影響により，プロのピアノ講師（東京在住）を被験者とした実験にかかる経費の執行および実験に必要な消耗品等の予算執行ができなかった．これは，2022年度に実施予定である被験謝金・必要経費として執行予定である．
|
