Development of Piano Teaching Support Tools and FD Design
| Project/Area Number |
21K18528
|
|---|
| Research Category |
Grant-in-Aid for Challenging Research (Exploratory)
|
| Allocation Type | Multi-year Fund |
|---|
| Review Section |
Medium-sized Section 9:Education and related fields
|
|---|
| Research Institution | Tokai University |
|---|
Principal Investigator |
森田 直樹 東海大学, 情報通信学部, 教授 (50413571)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
中西 千春 国立音楽大学, 音楽学部, 教授 (30317101)
沢田 千秋 国立音楽大学, 音楽学部, 准教授 (50816387)
森田 賢太 鈴鹿医療科学大学, 医用工学部, 助教 (50881679)
川井 一枝 宮城大学, 基盤教育群, 教授 (40639043)
|
|---|
| Project Period (FY) |
2021-07-09 – 2024-03-31
|
| Project Status |
Granted (Fiscal Year 2022)
|
| Budget Amount *help |
¥6,240,000 (Direct Cost: ¥4,800,000、Indirect Cost: ¥1,440,000)
Fiscal Year 2023: ¥1,560,000 (Direct Cost: ¥1,200,000、Indirect Cost: ¥360,000)
Fiscal Year 2022: ¥2,600,000 (Direct Cost: ¥2,000,000、Indirect Cost: ¥600,000)
Fiscal Year 2021: ¥2,080,000 (Direct Cost: ¥1,600,000、Indirect Cost: ¥480,000)
|
|---|
| Keywords | ピアノレッスン / 楽譜解析 / 動画解析 / 頭出し / 検索システム / ニーズ調査 / 楽譜認識 / ピアノ学習支援 / 演奏まるごと見える化 / 身体の使い方の認知 / 楽譜連動 / FDデザイン |
|---|
| Outline of Research at the Start |
「まるごと見える化システム」の主たる意義は，従来の教師中心の感性や記憶に頼る主観的な演奏レッスンから，客観的な演奏映像データの共有を通して，学生が主体的に学び演奏において自律を促すレッスンへと転換をすることである。
演奏において「音」が重要なのは言うまでもない。しかし，人がどのように「聴いているか」は明確にはわからない。以前と今の演奏の比較や，教師と自己の演奏を比較し，その違いや問題点・改善法を「音」で示すことは容易ではない。「まるごと見える化システム」で演奏の視覚情報を提示・共有することは，教育の選択肢を増やす。「聴く」だけではわからない学生に気づきの機会を与え，演奏の上達の可能性を広げる。
|
| Outline of Annual Research Achievements |
【具体的内容】「ピアノ演奏まるごと見える化システム」の開発にむけて、項目1. ピアノレッスンの実態調査のアンケート結果の分析（現状のデジタルツールの利用の頻度、不便を感じる事柄、ニーズ分析）、項目2. 楽譜解析モジュールの開発(pdfの楽譜を解析して音階の変化を認識するシステム)、項目3.レッスン動画解析モジュールの開発（動画ファイルを一定時間毎に解析して８８音階を認識するシステム）、項目4.楽譜クリック動画頭出しシステム（楽譜解析モジュールと動画解析モジュールを連携させ、画面上に映る楽譜をクリックした小節を演奏している時間からレッスン動画を再生できるように頭出しをするシステム）項目5.動画内検索のためのキーメロディーの適応率の検討（マイクに入力したメロディー音声と同じフレーズが収録された動画とその再生位置を検索することができるかの検討）について実施した。
上記の実施内容について、2023年３月に開催された国際会議SIGNAL2023において、項目１は「Requirements for Piano Lesson Support System」と題して、項目２、３、４は、「Development of a Score Click Playback System」、項目３、５は、「In-video Searching for Melody in Piano Lesson Videos」と題して成果を発表した。
【意義】項目１に関しては、現状の問題点の明示化と実際に利用する学生教師のニーズを探ることができ、項目２、３、４に関しては、通し演奏を収録した動画から見直したい場所を一瞬で頭出しすることでき、項目５に関しては、約１時間のレッスンを収録した動画から見直したい場所から再生するシステムの基礎データとなる。
【重要性】「ピアノ演奏まるごと見える化システム」の実証実験の足がかりとなる。
|
| Current Status of Research Progress |
Current Status of Research Progress
3: Progress in research has been slightly delayed.
Reason
2022年度では実験用の環境構築終了を計画していた。その目標に対して、やや遅れが生じている。
現在開発中のシステムは、通し演奏を収録した動画の解析に音声解析ライブラリ(librosa)を用いて、８８音階のスペクトルグラム解析を行っている。librosaでは、和音が奏でられた時にオクターブの関係性のある音の抽出ができないケースがある。そのため、楽譜と音声情報との一致率が低くなり、演奏区間の推定ができない場合がある。
|
| Strategy for Future Research Activity |
1. レッスン動画解析モジュールの改良（森田直樹、森田賢太）：レッスン動画を解析するために用いているライブラリ(librosa)ではオクターブ離れた和音を抽出することができないことがある。この問題点に対して、楽譜上でオクターブ離れた和音を検出した場合には、それらの音階のいずれかの音をレッスン動画中にて検出したらその符幹（符頭に直接つながっている細い垂直線）は演奏済みであると判断する手法を実装する。
2.実証実験(沢田、森田直樹)：システム試用（沢田、実験協力学生(n=3）)、システム評価実験（研究協力講師とその学生ら）を行いシステムの有効性の検証を行う。
3.ファシリテーションフレームワークの構築（中西、森田直樹）：演奏レッスンでの教師の役割、そしてそれらの問いかけをシステム化するために、日本と海外との教育方法の差について海外の音楽教員と議論を行い研究に活用する。
4.「まるごとFDプログラム」のデザイン(中西、森田直樹、沢田):教師がシステムをツールとして使いこなし，自律的にレッスン改善を行う土壌をつくる。
5.研究成果をまとめる（森田直樹、中西、沢田、森田賢太、川井）：今までの研究成果をまとめ、国内外の学会にて成果を発表する。
|
Report
(2 results)
Research Products
(3 results)
-
-
[Presentation] Development of a Score Click Playback System2023
Author(s)
Motoya Wakiyama, Megumi Wakao, Naoki Morita, Chiharu Nakanishi, Chiaki Sawada, Kazue Kawai, Kenta Morita
Organizer
SIGNAL 2023 : The Eighth International Conference on Advances in Signal, Image and Video Processing
Related Report
Int'l Joint Research
-
