Query-by-Singing music information Retrieval system supporting various singing style

2021 Fiscal Year Research-status Report

• Project/Area Number: 18K11321
• Research Institution: Osaka Institute of Technology
• Principal Investigator: 鈴木 基之 大阪工業大学, 情報科学部, 教授 (30282015)
• Project Period (FY): 2018-04-01 – 2023-03-31
• Keywords: Query-by-Singing / 楽曲検索システム / 検索スコアの統合

Outline of Annual Research Achievements

本年度は最終的なシステムを構築すべく，今まで開発してきた歌詞による楽曲検索結果とメロディによる楽曲検索結果を統合し，最終的な検索結果を出力するアルゴリズムについて検討を行った。
まずはそれぞれの検索結果からスコアを抽出し，重み付き加算をすることで最終的なスコアとする方法について検討を行った。男女27名が歌唱した歌唱データを入力とし，歌詞認識，メロディ抽出を行った上でそれぞれの方法で検索をかけ，最後にスコアを統合した。単独による検索では，メロディに比べて歌詞による検索の方が精度が高かったため，スコアの統合においては歌詞検索結果の重みを0.9にするのが最適である事がわかった。様々な長さの歌唱データについて検索実験を行ったところ，1小節のみ歌唱しているデータで46.1%→47.0%，3小節だと79.3%→81.4%等，歌詞単独の検索結果と比較して，1ポイントから2ポイント程度認識精度が向上することがわかった。
検索結果を詳細に分析したところ，それぞれの検索においてデータベースとマッチした区間が必ずしも一致しておらず，たまたまスコアが高かった区間同士を加算した結果誤認識してしまっているデータが少なからず存在することがわかった。そこでスコアを加算する際，それぞれデータベースの同じ区間とマッチしたスコアを加算するようアルゴリズムの改良を行なった。その結果，入力される歌唱音声が短いほど検索結果の改善効果が高くなることが示されたが，その後の詳細な分析において，一部データに誤りがあり，得られた結果が必ずしも正確ではないことがわかった。この点についてはプログラムを検証し修正していく必要があるが，本年度内に修正を終えることができなかった。そのため来年度まで研究期間を延長し，プログラムの修正と正確な結果の分析等を行っていく。

Current Status of Research Progress

3: Progress in research has been slightly delayed.

Reason

最終的なシステム構築に向けて，これまで開発してきたプログラムを組み合わせ実験を行ったが，その結果を詳細に分析する中で，プログラムの一部に誤りがあり，それが原因で正確な結果が得られていないことがわかった。この点についての修正作業に時間がかかり，当初予定より遅れることとなった。

Strategy for Future Research Activity

引き続きプログラムの修正を行い，正確な実験を実施する。
プログラムの修正後，誤りの影響を受けていたと思われる実験についてやり直すことで正確な結果を得る。その後，実験結果を分析し，正確な知見を得るとともに最終的な成果物である楽曲検索システムを構築していく。

Causes of Carryover

参加を予定していた国際会議等が新型コロナウイルス感染症の流行に伴なってオンライン開催となり，旅費として予定していた予算を使用しなかった事，また実験途中でプログラムの不具合が発見され，その修正作業を行う必要があったため，学会へ論文投稿ができなかった事から，残額が生じることとなった。
研究期間を1年間延長し，正確な実験結果を得るとともに，その結果を学会へ投稿し，また最終的な成果物である楽曲検索システムのデモ展示用機器の購入費用として執行していく予定である。