2020 Fiscal Year Research-status Report
マルチモーダル生体情報に基づく鍵盤楽器演奏技能推定手法の開発
Project/Area Number |
19K12232
|
Research Institution | Nagaoka University of Technology |
Principal Investigator |
中平 勝子 長岡技術科学大学, 工学研究科, 准教授 (80339621)
|
Co-Investigator(Kenkyū-buntansha) |
秋元 頼孝 長岡技術科学大学, 工学研究科, 准教授 (00555245)
|
Project Period (FY) |
2019-04-01 – 2022-03-31
|
Keywords | 技能教育 / サービス情報 / マルチモーダル |
Outline of Annual Research Achievements |
本研究における課題は次のとおりである.(1)読譜時/演奏時における視行動分析,を軸に,(2)読譜時/演奏時の脳活性度計測結果,(3)演奏時に発生する打鍵ミスに対するヒューマンエラー分類,および,(2),(3)と(1)の関係を導くこと.令和元年度は,(1)と(2)を連動させることを狙い,読譜時における視行動と脳活性の関係を推定するために,2種類ある読譜方法のうち,数え読み状態に近いと考えられる基本計算時の脳活性と視行動の関係を関係づけるため,次の基礎実験を行なった.Eモードとして,3桁どうしの繰り上がりのない足し算,Nモードとして3桁どうしの繰り上がりのある足し算,Hモードとして3桁と2桁の掛け算を行わせ,その際の視行動の変化と脳活性の関係を確認した. その結果,少なくとも計算の難易度と視行動には,5秒間の刺激呈示中,Eモードであれば呈示開始後2秒程度で答案へと移動し,Nモードではそれが3秒前後で答案へと移動し,Hモードでは安定した移動がないこと,および,この3者間での脳活性を計測すると,Nモードの時には有意にFmθ領域と呼ばれる,数的処理作業や楽器演奏中に発現する関係がある部分での脳活性が認められた.このことから,視行動を元に脳活性を推定することが可能ではないかという予測が成立する. また,(3)に関しては,アクションスリップを軸に打鍵ミスに対するヒューマンエラーの分類を元に,鍵盤楽器演奏時のアクションスリップの分類結果と音楽記号の認識能力の関係を見出すため,音符認識過程のモデル化を行った.
|
Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
当初予定では,プロの音楽講師を招聘の上,職業人の読譜時脳活性を計測する予定であったが,COVID-19に伴って人の移動が困難となり,音楽講師も職業変更をせざるを得なくなったこと,研究代表者自身も本務校にて思わぬ対応を迫られることとなったため,計画を若干変更し,プロの音楽講師によるプロトタイプ脳活性計測ではなく,似たような状況下が発生しうると考えられる基本計算時に実験を置き換えて計測を行った.それ以外は音符認知過程の構築や初学者・熟達者双方の読譜状況を表現可能な認知過程モデルの設計を行えた.その結果,学会発表3件を行い,うち学生と発表した1件は優秀研究賞として表彰され,令和3年度全国大会に招待された.以上のことから,概ね順調に進捗していると考えている.
|
Strategy for Future Research Activity |
令和3年度は,当初,読譜時/演奏時の脳活性度計測を行い,読譜時/演奏時における視行動分析と合わせて分析を行う予定であったが,COVID-19の影響で実験協力者を招くことができなくなった.このため,予定を変更し,これまで行ってきたアクションスリップに基づいた読譜/打鍵ミスに対するヒューマンエラー分類,音価認識モデル,初学者・熟達者間の音高認知モデル,脳活性と視行動の関係を統合し,マルチモーダル生体情報に基づく鍵盤楽器演奏技能推定手法の開発へ向けたまとめを行う.
|
Causes of Carryover |
COVID-19の影響により,本務に費やす割合が増えた上に,実験についても非常な制約がかかることとなり,また,国際会議開催動向が読めなくなったこと,学会発表も全てオンラインとなり旅費に費やす予算がほぼなくなった.そのため,これらの費用が概ね余剰となった.次年度の追加実験に必要なソフトウェアライセンスの購入に予算を当てる.
|
Remarks |
2020年度JSiSE学生研究発表会発表分は優秀研究賞受賞,令和3年度全国大会へ招待された.
|
Research Products
(3 results)