2018 Fiscal Year Annual Research Report
Piano Performance Support System Focusing on Narrativization and Relativization of Learning Strategy
| Project/Area Number |
16K12560
|
|---|
| Research Institution | Future University-Hakodate |
|---|
Principal Investigator |
平田 圭二 公立はこだて未来大学, システム情報科学部, 教授 (30396121)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
竹川 佳成 公立はこだて未来大学, システム情報科学部, 准教授 (60467678)
田柳 恵美子 公立はこだて未来大学, 社会連携センター, 教授 (30522114)
椿本 弥生 東京大学, 教養学部, 特任准教授 (40508397)
|
|---|
| Project Period (FY) |
2016-04-01 – 2019-03-31
|
| Keywords | 知的学習支援システム / 学習経験のメタ認知と物語化 |
|---|
| Outline of Annual Research Achievements |
(1) 評価実験に向けた実験システムの改良：ピアノ演奏練習を撮影したビデオ上で手指悪癖の出現箇所を半自動アノテーションするため，畳み込みニューラルネットワークの一種であるVGGNetを用いて，悪癖クラス認識器を実装し，正答率78%を達成した．多くの楽器演奏の練習支援システムでは，その実現のために，与えられた課題曲の楽曲構造をあらかじめ解析する機能を必要としている．次の3つの楽曲分析の基本機能の完成度を高めた：タイムスパン・セグメンテーションのより正確な抽出，個々のフレーズ抽出（その応用としてメドレー中の原曲断片識別），より動的に頑健な調性同定．
(2)改良システムを用いての評価実験：悪癖発見ツールを実現するため，従来の動画プレイヤに，悪癖発見を効率化することが期待される機能を追加した（複数ビデオ同期再生機能，音単位再生機能，演奏情報表示機能，上述の悪癖出現箇所自動アノテーション機能）．ピアノ経験者12人に対して，従来の動画プレイヤのみを使った場合と，悪癖発見ツールを使った場合で，悪癖発見率を比較し，悪癖発見ツールが0.52，動画プレイヤが0.42であった．遠隔ピアノレッスン環境におけるカメラ自動切り替え方式を評価した．課題曲（子犬のワルツ）の演奏で生じる典型的なミス5シーンを抽出し，FFNNとルールによる提案手法と，2つの比較手法（背景差分により最も動きの大きいカメラ画像を選択する方式，7視点画像のタイリングによる同時視聴の方式）とを比較した．手指の細かな動きを指摘する場合，引き直し箇所を同定する場合において提案手法の有効性が確認できた．
(3)分析：前年度の成果を踏まえて，初心者と経験者で，各チャンクの数，各チャンクの大きさの変化を観察し，初心者と経験者の間に有意差が認められた．学習に必要な技能を5種類に分けたガニエの5分類との対応からも本研究成果の正しさが支持された．
|
