2022 Fiscal Year Research-status Report
Development of Piano Teaching Support Tools and FD Design
| Project/Area Number |
21K18528
|
|---|
| Research Institution | Tokai University |
|---|
Principal Investigator |
森田 直樹 東海大学, 情報通信学部, 教授 (50413571)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
中西 千春 国立音楽大学, 音楽学部, 教授 (30317101)
沢田 千秋 国立音楽大学, 音楽学部, 准教授 (50816387)
森田 賢太 鈴鹿医療科学大学, 医用工学部, 助教 (50881679)
川井 一枝 宮城大学, 基盤教育群, 教授 (40639043)
|
|---|
| Project Period (FY) |
2021-07-09 – 2024-03-31
|
| Keywords | ピアノレッスン / 楽譜解析 / 動画解析 / 頭出し / 検索システム |
|---|
| Outline of Annual Research Achievements |
【具体的内容】「ピアノ演奏まるごと見える化システム」の開発にむけて、項目1. ピアノレッスンの実態調査のアンケート結果の分析（現状のデジタルツールの利用の頻度、不便を感じる事柄、ニーズ分析）、項目2. 楽譜解析モジュールの開発(pdfの楽譜を解析して音階の変化を認識するシステム)、項目3.レッスン動画解析モジュールの開発（動画ファイルを一定時間毎に解析して８８音階を認識するシステム）、項目4.楽譜クリック動画頭出しシステム（楽譜解析モジュールと動画解析モジュールを連携させ、画面上に映る楽譜をクリックした小節を演奏している時間からレッスン動画を再生できるように頭出しをするシステム）項目5.動画内検索のためのキーメロディーの適応率の検討（マイクに入力したメロディー音声と同じフレーズが収録された動画とその再生位置を検索することができるかの検討）について実施した。
上記の実施内容について、2023年３月に開催された国際会議SIGNAL2023において、項目１は「Requirements for Piano Lesson Support System」と題して、項目２、３、４は、「Development of a Score Click Playback System」、項目３、５は、「In-video Searching for Melody in Piano Lesson Videos」と題して成果を発表した。
【意義】項目１に関しては、現状の問題点の明示化と実際に利用する学生教師のニーズを探ることができ、項目２、３、４に関しては、通し演奏を収録した動画から見直したい場所を一瞬で頭出しすることでき、項目５に関しては、約１時間のレッスンを収録した動画から見直したい場所から再生するシステムの基礎データとなる。
【重要性】「ピアノ演奏まるごと見える化システム」の実証実験の足がかりとなる。
|
| Current Status of Research Progress |
Current Status of Research Progress
3: Progress in research has been slightly delayed.
Reason
2022年度では実験用の環境構築終了を計画していた。その目標に対して、やや遅れが生じている。
現在開発中のシステムは、通し演奏を収録した動画の解析に音声解析ライブラリ(librosa)を用いて、８８音階のスペクトルグラム解析を行っている。librosaでは、和音が奏でられた時にオクターブの関係性のある音の抽出ができないケースがある。そのため、楽譜と音声情報との一致率が低くなり、演奏区間の推定ができない場合がある。
|
| Strategy for Future Research Activity |
1. レッスン動画解析モジュールの改良（森田直樹、森田賢太）：レッスン動画を解析するために用いているライブラリ(librosa)ではオクターブ離れた和音を抽出することができないことがある。この問題点に対して、楽譜上でオクターブ離れた和音を検出した場合には、それらの音階のいずれかの音をレッスン動画中にて検出したらその符幹（符頭に直接つながっている細い垂直線）は演奏済みであると判断する手法を実装する。
2.実証実験(沢田、森田直樹)：システム試用（沢田、実験協力学生(n=3）)、システム評価実験（研究協力講師とその学生ら）を行いシステムの有効性の検証を行う。
3.ファシリテーションフレームワークの構築（中西、森田直樹）：演奏レッスンでの教師の役割、そしてそれらの問いかけをシステム化するために、日本と海外との教育方法の差について海外の音楽教員と議論を行い研究に活用する。
4.「まるごとFDプログラム」のデザイン(中西、森田直樹、沢田):教師がシステムをツールとして使いこなし，自律的にレッスン改善を行う土壌をつくる。
5.研究成果をまとめる（森田直樹、中西、沢田、森田賢太、川井）：今までの研究成果をまとめ、国内外の学会にて成果を発表する。
|
| Causes of Carryover |
【理由】本年度は、３年計画の２年目に該当する。該当年度は予定額より多く施行したが、初年時は、実施進捗の遅れにより予算を施行できず、その影響によるため。
【使用計画】国際会議への参加の為の交通費に関しては空路での費用は予測できない部分はあるものの、事前に計画を立て施行する。予算の状況に応じて、参加日数や、実験の為の消耗品の購入など、研究遂行に支障の出ない範囲で調整を行いながら施行する。
|
