| 研究課題/領域番号 |
21K18528
|
|---|
| 研究種目 |
挑戦的研究(萌芽)
|
| 配分区分 | 基金 |
|---|
| 審査区分 |
中区分9:教育学およびその関連分野
|
|---|
| 研究機関 | 東海大学 |
|---|
研究代表者 |
森田 直樹 東海大学, 情報通信学部, 教授 (50413571)
|
|---|
| 研究分担者 |
中西 千春 国立音楽大学, 音楽学部, 教授 (30317101)
沢田 千秋 国立音楽大学, 音楽学部, 准教授 (50816387)
森田 賢太 鈴鹿医療科学大学, 医用工学部, 助教 (50881679)
川井 一枝 宮城大学, 基盤教育群, 教授 (40639043)
|
|---|
| 研究期間 (年度) |
2021-07-09 – 2024-03-31
|
| 研究課題ステータス |
交付 (2022年度)
|
| 配分額 *注記 |
6,240千円 (直接経費: 4,800千円、間接経費: 1,440千円)
2023年度: 1,560千円 (直接経費: 1,200千円、間接経費: 360千円)
2022年度: 2,600千円 (直接経費: 2,000千円、間接経費: 600千円)
2021年度: 2,080千円 (直接経費: 1,600千円、間接経費: 480千円)
|
|---|
| キーワード | ピアノレッスン / 楽譜解析 / 動画解析 / 頭出し / 検索システム / ニーズ調査 / 楽譜認識 / ピアノ学習支援 / 演奏まるごと見える化 / 身体の使い方の認知 / 楽譜連動 / FDデザイン |
|---|
| 研究開始時の研究の概要 |
「まるごと見える化システム」の主たる意義は，従来の教師中心の感性や記憶に頼る主観的な演奏レッスンから，客観的な演奏映像データの共有を通して，学生が主体的に学び演奏において自律を促すレッスンへと転換をすることである。
演奏において「音」が重要なのは言うまでもない。しかし，人がどのように「聴いているか」は明確にはわからない。以前と今の演奏の比較や，教師と自己の演奏を比較し，その違いや問題点・改善法を「音」で示すことは容易ではない。「まるごと見える化システム」で演奏の視覚情報を提示・共有することは，教育の選択肢を増やす。「聴く」だけではわからない学生に気づきの機会を与え，演奏の上達の可能性を広げる。
|
| 研究実績の概要 |
【具体的内容】「ピアノ演奏まるごと見える化システム」の開発にむけて、項目1. ピアノレッスンの実態調査のアンケート結果の分析（現状のデジタルツールの利用の頻度、不便を感じる事柄、ニーズ分析）、項目2. 楽譜解析モジュールの開発(pdfの楽譜を解析して音階の変化を認識するシステム)、項目3.レッスン動画解析モジュールの開発（動画ファイルを一定時間毎に解析して８８音階を認識するシステム）、項目4.楽譜クリック動画頭出しシステム（楽譜解析モジュールと動画解析モジュールを連携させ、画面上に映る楽譜をクリックした小節を演奏している時間からレッスン動画を再生できるように頭出しをするシステム）項目5.動画内検索のためのキーメロディーの適応率の検討（マイクに入力したメロディー音声と同じフレーズが収録された動画とその再生位置を検索することができるかの検討）について実施した。
上記の実施内容について、2023年３月に開催された国際会議SIGNAL2023において、項目１は「Requirements for Piano Lesson Support System」と題して、項目２、３、４は、「Development of a Score Click Playback System」、項目３、５は、「In-video Searching for Melody in Piano Lesson Videos」と題して成果を発表した。
【意義】項目１に関しては、現状の問題点の明示化と実際に利用する学生教師のニーズを探ることができ、項目２、３、４に関しては、通し演奏を収録した動画から見直したい場所を一瞬で頭出しすることでき、項目５に関しては、約１時間のレッスンを収録した動画から見直したい場所から再生するシステムの基礎データとなる。
【重要性】「ピアノ演奏まるごと見える化システム」の実証実験の足がかりとなる。
|
| 現在までの達成度 (区分) |
現在までの達成度 (区分)
3: やや遅れている
理由
2022年度では実験用の環境構築終了を計画していた。その目標に対して、やや遅れが生じている。
現在開発中のシステムは、通し演奏を収録した動画の解析に音声解析ライブラリ(librosa)を用いて、８８音階のスペクトルグラム解析を行っている。librosaでは、和音が奏でられた時にオクターブの関係性のある音の抽出ができないケースがある。そのため、楽譜と音声情報との一致率が低くなり、演奏区間の推定ができない場合がある。
|
| 今後の研究の推進方策 |
1. レッスン動画解析モジュールの改良（森田直樹、森田賢太）：レッスン動画を解析するために用いているライブラリ(librosa)ではオクターブ離れた和音を抽出することができないことがある。この問題点に対して、楽譜上でオクターブ離れた和音を検出した場合には、それらの音階のいずれかの音をレッスン動画中にて検出したらその符幹（符頭に直接つながっている細い垂直線）は演奏済みであると判断する手法を実装する。
2.実証実験(沢田、森田直樹)：システム試用（沢田、実験協力学生(n=3）)、システム評価実験（研究協力講師とその学生ら）を行いシステムの有効性の検証を行う。
3.ファシリテーションフレームワークの構築（中西、森田直樹）：演奏レッスンでの教師の役割、そしてそれらの問いかけをシステム化するために、日本と海外との教育方法の差について海外の音楽教員と議論を行い研究に活用する。
4.「まるごとFDプログラム」のデザイン(中西、森田直樹、沢田):教師がシステムをツールとして使いこなし，自律的にレッスン改善を行う土壌をつくる。
5.研究成果をまとめる（森田直樹、中西、沢田、森田賢太、川井）：今までの研究成果をまとめ、国内外の学会にて成果を発表する。
|
