Development of Piano Teaching Support Tools and FD Design

2021 Fiscal Year Research-status Report

• Project/Area Number: 21K18528
• Research Institution: Tokai University
• Principal Investigator: 森田 直樹 東海大学, 情報通信学部, 教授 (50413571)
• Co-Investigator(Kenkyū-buntansha): 中西 千春 国立音楽大学, 音楽学部, 教授 (30317101) ; 沢田 千秋 国立音楽大学, 音楽学部, 准教授 (50816387) ; 森田 賢太 鈴鹿医療科学大学, 医用工学部, 助教 (50881679) ; 川井 一枝 宮城大学, 基盤教育群, 准教授 (40639043)
• Project Period (FY): 2021-07-09 – 2024-03-31
• Keywords: ピアノレッスン / ニーズ調査 / 楽譜認識

Outline of Annual Research Achievements

【具体的内容】「ピアノ演奏まるごと見える化システム」の開発にむけて、１．ピアノ演奏レッスンの実態調査（沢田、中西、川井）と、２．楽譜音階をAIで認識する試みを実施（森田直樹、森田賢太）した。１の実態調査に関しては、教師への質問項目として１０問を作成し２０名の音大教員に対してアンケートを実施し、学生への質問項目として９問を作成し２４名の音大学生に対してアンケートを実施した。現在、アンケート結果を分析している最中である。２の楽譜音階のAI認識に関しては、TensorFlow Object Detection APIを用いてAI認識を試みた。学習時のパラメータは、学習モデル：EfficientDet、教師データ：楽譜30枚、学習回数：３万回である。認識結果については、楽譜の音階を取得するために十分な認識精度が期待できなかった。原因として、一般的な物体領域認識とは異なり楽譜は黒と白の情報しかないこと、音符の特徴が非常に似通っていること、教師データが十分でないことが考えられる。
【意義】１．ピアノレッスン時の問題点や学生のレベルの差異による教え方の違い、ニーズの調査を行うことができる。２．楽譜をコンピュータが認識できるようになる。
【重要性】「ピアノ演奏まるごと見える化システム」の開発には、楽譜の小節とレッスン時の動画のタイムスタンプを関連付けることが重要である。これらの実現に向けて、システムが楽譜を認識すること、演奏時の動画から音程とリズムを解析すること、楽譜の小節と解析した映像のタイムスタンプを関連付けることが必須である。本年度はその第１段階として楽譜の認識を主に実施した。また、レッスンを遠隔にサポートするために、操作性をふくめたニーズの調査を学生と教師に対して行うことは非常に重要である。

Current Status of Research Progress

3: Progress in research has been slightly delayed.

Reason

１．ニーズ調査の遅れ
人権の保護及び法令等の厳守への対応のため研究倫理委員会に申請しその許可までに時間を要したことと、より多くの人へのインタビュー実施の必要性からスケジュール調整に時間を要した為。
２．楽譜の認識の遅れ
AIによる楽譜認識を目指していたが、現時点で作成した教師データの枚数ではシステムを開発できる十分な認識精度を得ることは出来なかった為。

Strategy for Future Research Activity

１．ピアノ演奏レッスンの実態調査（沢田、中西、川井、森田直樹）：2021年度に実施したアンケートの回答結果を引き続き分析する。また、クラシック音楽発祥の地ドイツでの音楽教育について視察を行い、日本と海外との教育方法の差について海外の音楽教員と議論を行い研究に活用する。また、その分析の成果を国内外の学会にて発表する。
２．「ピアノ演奏まるごと見える化システム」の開発（森田直樹、森田賢太）：第１段階として、動画のタイムスタンプと楽譜の小節との連携方法の確立を目指す。2021年度に実施した取組の結果、楽譜のAI認識は教師データの作成の手間の割には認識結果の向上が期待できないことがわかった。そのため、音階とリズムを一度にAI認識する代わりに、音階を主にリズムは副として認識する手法を目指す。具体的には、音符の円玉をパターンマッチにより認識し５線譜との位置関係で音階を取得する手法を採る。レッスン動画より音成分をフーリエ変換することにより音程を解析し、楽譜より認識した音程とマッチング処理を施し楽譜の小節と動画のタイムスタンプとの連携を試みる。第２段階として、タブレット端末を用いた操作画面の開発を目指す。具体的には、iOS上で動作する「ピアノ演奏まるごと見える化システム」を開発する。具体的な機能としては、楽譜の取り込み、演奏の様子の撮影、楽譜と演奏動画との関連付け、見直しや振り返りがしやすいUIの開発である。また、その開発で得られた知見について国内外の学会で発表し、システムの改善に役立てる。
３．システムの評価（沢田、森田直樹、中西）：研究協力教師(n=20)とその学生らを対象にシステムを使用し，効果の検証を行う。
４．「まるごとFDプログラム」のデザイン（中西、森田直樹、沢田）：教師がシステムをツールとして使いこなし，自律的にレッスン改善を行う土壌をつくる。

Causes of Carryover

【理由】1．21年度に実験用貸出機材の購入を予定していたが、楽譜の認識精度の向上が期待できなかったため、UIの開発に着手できなかった為。２．学会発表を予定していたが、現在アンケートの分析段階であり投稿できていない為。
【使用計画】１．実験用貸出機材は２２年度に購入する。２．学会発表は２２年度に投稿する