2018 Fiscal Year Research-status Report
リズムチューナー：身体知を可視化・可聴化する新しい音楽練習支援システム
| Project/Area Number |
16K01094
|
|---|
| Research Institution | Kushiro National College of Technology |
|---|
Principal Investigator |
山田 昌尚 釧路工業高等専門学校, 創造工学科, 准教授 (40220404)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
土江田 織枝 釧路工業高等専門学校, 創造工学科, 准教授 (10230723)
峯 恭子 大阪大谷大学, 教育学部, 准教授 (90611187)
|
|---|
| Project Period (FY) |
2016-04-01 – 2020-03-31
|
| Keywords | 演奏支援 / リズム感 / 発音検出 / リカレントニューラルネットワーク |
|---|
| Outline of Annual Research Achievements |
身体知としてのリズム感の獲得過程を明らかにすることを目的として，今年度の研究ではピアノ学習者を対象としたデータ収集および分析を行った。データ収集の対象はピアノのグループ授業を受けている大学生70名で，毎週90分，1年間の授業時間について，原則的にすべての演奏内容をMIDI形式で記録した。これは，一定の集団が長期にわたって練習した結果が記録されているものであり，個人ごとの，また全体としての演奏上達過程の記録として，こうしたデータ収集そのものが従来行われていなかったため貴重である。この演奏データを楽譜の情報と照らし合わせることでリズム感の獲得過程を分析・モデル化していくが，記録されたデータには，弾き間違いや弾き直し等が多く含まれることと，演奏している曲のテンポにかかわらず固定テンポでノートイベントが記録されていることから，分析に先立って演奏の各部分と楽譜を対応付けるアノテーションが必要となる。演奏データの総記録時間は3000時間に及び，このアノテーションを手動で行うのは現実的でないことから，深層学習を用いて演奏楽曲の分類を行った。扱う対象が時系列信号のため，深層学習にはリカレントニューラルネットワーク (LSTM) を用いた。これにより，演奏楽曲の分類に一定の成果が得られたので，その研究成果について国際会議で発表した。また，楽譜と演奏データの対応付けが得られたあとの演奏内容分析手法について先行研究を踏まえて検討し，その内容を発表した。
|
| Current Status of Research Progress |
Current Status of Research Progress
3: Progress in research has been slightly delayed.
Reason
当初の計画では，開発したリズムチューナーを使用して，リアルタイムで演奏者に情報をフィードバックしながらリズム感を向上させられるように被験者実験を長期間にわたって実施する予定であったが，初年度に研究代表者が海外研修に従事することとなったことと，今年度は実験を担当する研究分担者が休職することとなったため，当初予定通りの実験実施が困難となった。そこで代替手段として，演奏データをMIDI形式で記録することにより，事後的にリズム感の獲得過程を分析することに研究方法を切り替え，平成30年度の1年間にわたって演奏情報を記録することで，のべ3000時間に及ぶデータの蓄積ができた。このデータを身体知の獲得過程分析に使用するためにアノテーション作業が必要となるが，演奏を記録したデータには複数の楽曲が順不同で収録されているため，これをまずリカレントニューラルネットワークで分類することを試みて，一定の成果が得られた。楽譜と演奏データの対応付けについては，DPマッチングを試したが有効な結果は得られなかった。
並行して，リズム分析のための手法を検討した。先行研究を参照したうえで，リズムミスを音長ミスと停滞に分類し，音長ミスかどうかの判断基準を16分音符に相当する時間の1/4を許容誤差とした。停滞については離鍵してから次に打鍵するまでが16分音符の1/2相当以上の場合とした。テンポについては，リズムとも密接な関わりがあるが，小節パターンによる周期的な打鍵タイミングのずれと継続的なテンポの進みあるいは遅れを捉える目的で4部音符ごとのテンポ変化を示す方法を採用した。
|
| Strategy for Future Research Activity |
今後のデータ分析のために，データ収集を継続して実施する。収集したデータに対して，深層学習を用いて楽曲を分類し，さらに楽譜と演奏データの対応付けを行う。楽譜と演奏データの対応付けについては，DPマッチングで有効な結果が得られなかったため，HMMやそれを変形したモデルを用いる。本研究で対象となる演奏データの楽曲はピアノ初級者が練習に使用する比較的単純で短いものであるため，比較的簡単な方法で楽譜と演奏の対応付けが可能と見込まれる。その後，リズム感の獲得過程をモデル化していく。学習者の学習過程に関する仮説として，リズム感に限らず各種の技能について，まず，ひとつの楽曲をスムーズに演奏できるようになる習熟プロセスがあり，次に，ある程度その楽曲を演奏できるようになってから他の楽曲に取り組んだとき習熟度としてリセットされるように見える部分と，前の楽曲から引き継がれる部分があって，後者は演奏者が練習によって獲得したスキルだと考えられる。こうした技能獲得の過程を，楽譜通りの演奏を真値とし，ミスや不安定さを含んだ演奏を誤差を伴う測定値として，誤差が収束していく過程としてモデル化する。
また，これまで開発してきたリズムチューナーについても，従来のスペクトルフラックスを用いた発音検出方法では，原理的に一定の遅延が避けられないため，そうした遅延を避けつつ同等以上の認識率を確保するためニューラルネットワークを用いた発音検出方法について検討する。
|
| Causes of Carryover |
当初の計画で被験者実験に使用するためのPCに費用を計上していた分について，タブレット等で置き換えることを一時検討し，平成30年度に執行を予定していた。しかし，実験担当研究分担者の一時的な休職という想定外の事態が起きたため，被験者実験を実施するかわりに長期間のMIDIによる演奏データ蓄積とその分析に研究方法を変更した。これに伴い，当該費用をデータ分析用のPC購入にあてるために次年度使用することを予定している。
|
