2020 Fiscal Year Annual Research Report

Estimating the tempo of a musical performance by simulating the sensory information that humans add to the notes of a musical score using machine learning

Research Project

Project/Area Number	18K11598
Research Institution	Morioka College
Principal Investigator	川村暁盛岡大学, 文学部, 准教授 (40347919)
Co-Investigator(Kenkyū-buntansha)	吉田等明岩手大学, 教育学部, 特命教授 (00220666) 劉忠達石巻専修大学, 理工学部, 助教 (00782533)
Project Period (FY)	2018-04-01 – 2021-03-31
Keywords	感性情報処理 / 楽譜 / 楽器演奏者 / 機械学習 / データセット
Outline of Annual Research Achievements	楽譜が人間により感性情報処理された結果である楽曲（音）に関する研究ではなく，機械学習などで人間の感性情報処理を模擬する研究は殆ど例がない．また，楽譜と人間の感性情報のデータセットは存在しない．本研究では，質の高いデータセットを得るために，多様性に富んだ旋律を総譜（フルスコア）から抜き出し，636個の被験者実験用の旋律（楽譜）を得た．旋律の抜き出しは音楽の専門家の示唆に基づいている．このデータセットは世界的に見ても特異である．得られた旋律を，ある一定水準以上の楽器吹奏能力および読譜能力があり初見演奏が問題なく吹奏可能な被験者複数名で実験を行った．被験者は楽譜を演奏する場合のテンポ等を調査票に記す．被験者９名のテンポは全く同値となることはほぼ皆無で，被験者が推定したテンポが100以上異なるものも多くあった．しかし，元の楽曲が行進曲である場合は，行進曲様のテンポが推定されることを示した．ただし，個々人によって行進曲の基準テンポが異なるため特定の値とはならない．また，被験者数が少ないことも注意しなければならない．簡単な入門用の楽曲から抽出した旋律の楽譜に記載されたテンポを早い・遅いの二つのクラスにクラス分類する問題とし，これを機械学習で模擬する計算機実験では，機械学習の手法により，学習は100%成功するが，未知データの予測では，特にテンポが遅いクラスを全て誤分類する分類器があった．全体の認識率では，サポートベクターマシンよりも多層パーセプトロン・畳み込みニューラルネットワークの認識率が高かった．今後の課題は，コロナ禍のため，大学が閉鎖さる・サークル活動が禁止される等大きな制約が生じ被験者実験の数が想定通り増やせなかったので，本研究で作成した被験者実験用の楽譜セットを用い被験者実験を拡充し，感性情報の機械学習実験を推進する．