2019 Fiscal Year Research-status Report
Query-by-Singing music information Retrieval system supporting various singing style
| Project/Area Number |
18K11321
|
|---|
| Research Institution | Osaka Institute of Technology |
|---|
Principal Investigator |
鈴木 基之 大阪工業大学, 情報科学部, 教授 (30282015)
|
|---|
| Project Period (FY) |
2018-04-01 – 2022-03-31
|
| Keywords | 歌唱音声認識 / Query-by-Singing / 楽曲検索 / 歌詞の記憶誤り |
|---|
| Outline of Annual Research Achievements |
本年度は，主に誤りやすい歌詞に対する高精度検索法を開発した。
歌唱による入力が行われた場合，ユーザが歌詞を自身の記憶に頼って入力するため，歌詞を誤る場合がある。こうした場合，データベース中の歌詞とは異なる単語が入力されることになるので，検索を行った際に正解楽曲との「距離」が離れてしまう。しかし「誤り傾向」は存在すると思われるため，そうした傾向を「単語間距離」に反映させることで，誤った単語が入力されても高精度に検索できる方法を開発した。
歌詞の記憶誤りには，i) 意味が類似した単語と混同する，ii) 発音が類似した単語と混同する，といった誤りパターンがあると思われる。そこで，まず i) については，word2vec を用いてすべての単語を意味的な類似度を反映したベクトル表現に変更し，その上でベクトル間の距離を単語間類似度と定義した。また ii)に対しては，各単語を音素系列に変換した上で，それらの DP距離を計算し，単語間距離と定義した。なお，子音については「破裂音」「鼻音」といった調音様式に基づいて子音を分類し，同じ分類に含まれる子音同士の距離は0として計算した。こうして得られたふたつの「単語間距離」の重み付き和で，最終的な「単語間距離」を定義した。
この距離を用いることで，記憶誤りを含むテキストデータ66曲による検索精度を64%から74%にまで向上させることができた。更に，同率1位で検索結果に表示される平均曲数を7.89曲から1.11曲にまで低減させることができた。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
当初の計画どおり，人間の記憶誤りに対応した検索アルゴリズムを考案し，その効果を検証することができた。
一方，記憶誤りの中でも，1番の歌詞と2番の歌詞を混同する，といった誤りにまでは対応することはできなかった。こちらについては，連続DPを3次元に拡張することで対応可能であると思われるので，次年度に引き続き検討を行い，効果を検証していく予定である。
|
| Strategy for Future Research Activity |
当初の予定どおり研究を進めていく。
具体的には，本年度開発した歌唱誤りを考慮した検索法を更に発展させ，1番と2番の歌詞の混同といった誤りにも対応させる。また，昨年度開発した高精度歌唱音声認識を組み合わせ，歌唱音声からの検索システム全体の構築を開始するとともに，歌唱音声認識システムの認識誤り傾向を分析し，その結果も検索法に反映させることで，より高精度な検索の実現を目指していく。
|
| Causes of Carryover |
おおむね予定どおり執行しているが，年度末に参加を予定していた日本音響学会2020年春季研究発表会がコロナウイルス感染症の流行に伴い中止となった事等の事情により，主に旅費に残高が生じることとなった。
これらの予算は次年度において旅費にあてるとともに，検索システムの性能評価用に歌唱データベースを構築するための費用として執行していく事となる。
|
