IT技術を活用した演奏指導のための「動作・音・評価」メカニズムの解明

2023 Fiscal Year Research-status Report

• Project/Area Number: 23K02730
• Research Institution: Kisarazu National College of Technology
• Principal Investigator: 安井 希子 木更津工業高等専門学校, 情報工学科, 助教 (80607896)
• Project Period (FY): 2023-04-01 – 2026-03-31
• Keywords: 演奏評価 / 熟達度 / IT技術 / 動作解析 / 音響解析 / 練習支援

Outline of Annual Research Achievements

音楽教育においては，教師の経験や勘に基づいて演奏技術の指導が行われており，熟達した演奏の技術がうまく継承できないことが多い．本研究では，IT技術を活用することで説得力のあるデータを示し，演奏技術を向上させる指導ができる仕組みの提案を目指して，熟達度の観点で見た「動作による音の発生から知覚・評価」のモデル構築に向けて研究を進めてきた．まず，演奏の熟達度を評価して奏者にフィードバックする先行研究の調査を，国内外を対象に行った．
一般的な演奏評価モデルの概要は，主に統計処理型と深層学習型に分けられた．各手法では，演奏データから演奏・楽譜情報を取得した後に，演奏の熟達度にかかわる特徴の抽出を行っている．ただし，それぞれ楽譜情報の取得方法，特徴量の内容と抽出方法が異なっていた．最近増えつつある深層学習型の手法はデータさえあれば高精度な演奏評価が実現可能ですが，精度がデータ数に依存することや，内部構造がブラックボックス化されており，具体的なフィードバックが難しいといった問題点が存在する．統計処理型の手法は，ヒューリスティックな処理を施すことによってある程度ルールに則った演奏評価を行うことができるが，一般的にその精度は深層学習型に劣ることが多い．
既存の演奏評価モデルの手法を検討するために，データセットの調査を行った．本研究で対象とするエレキギターのものは，演奏データのみであれば存在していたが，評価ラベルがついたものはなく，主観評価ラベルの作成が必要であることが確認された．

Current Status of Research Progress

3: Progress in research has been slightly delayed.

Reason

研究環境変更のため，筋活動の測定環境の構築に時間がかかり，奏者の筋活動の予備調査にまだ進めていない．また，Webカメラを用いた演奏動作の測定実験を行うための機材や環境施設に関しては，物品の準備はできているが，最適なカメラの設置場所の検討はまだ終わっていない．
以上のように，測定環境に関してはまだ準備ができていないが，先行研究の調査や演奏評価モデルの構築手法の具体的な検討を行うことはできている．

Strategy for Future Research Activity

研究環境変更のため，筋活動や動作の測定環境の整備があまりできなかったため，予定よりもやや遅れてしまったが，研究環境を整えて基本的な感染対策を行って測定や演奏評価実験を行うことで，演奏評価モデル構築に必要なデータを収集する．また，それと並行して奏者に説得力のあるフィードバックも行うことができるモデルの構築を行う予定である．

Causes of Carryover

2023年度は測定環境整備に十分な時間を取れなかったため，当初の予定に反して物品費や奏者への謝金に関する研究費用の助成金を残した．残した助成金は，それらの費用等として使用する予定である．