2020 Fiscal Year Research-status Report
音楽メロディのベクトル表現の実現とその有効性の検証
| Project/Area Number |
19K20301
|
|---|
| Research Institution | Komazawa University |
|---|
Principal Investigator |
平井 辰典 駒澤大学, グローバル・メディア・スタディーズ学部, 講師 (70780542)
|
|---|
| Project Period (FY) |
2019-04-01 – 2023-03-31
|
| Keywords | 音楽情報処理 / 分散表現 / メロディ検索 / 音楽生成 |
|---|
| Outline of Annual Research Achievements |
本研究では，音楽のメロディを数値的なベクトルとして表現するための分散表現手法の実現を目指している．２０１９年度～２０２０年度の第１研究フェーズでは，メロディのベクトル化を実現する手法の確立を目指しており，当初の計画通りメロディのベクトル化のための手法として，メロディフレーズのベクトル化とメロディ全体のベクトル化手法の二つの手法を実現した．また，当初２０２１年度以降の研究内容として計画していたメロディベクトルに基づくメロディの可視化や検索についての研究内容にまで手を付けることができた．
メロディをベクトル化するための分散表現手法の実現の後には，結果の有効性の評価を予定していたが，近年の分散表現獲得手法の潮流として，分散表現獲得を目的としたモデルを構築するのではなく，生成モデル等の別のタスクを実現するモデルの一部にモジュールとして分散表現獲得のためのレイヤーを組み込む手法にシフトしてきた．そこで，２０２０年度には，研究計画に若干の修正を加え，近年の潮流に合わせた研究を行った．具体的には，２０２０年度の後半には音楽メロディの生成手法についての研究に注力した．音楽メロディの生成手法は数多く提案されてきており，各種メロディ生成手法の比較を行った．その結果，ここまでの段階で多様な方法（RNNによるメロディ生成，VAEによる分散表現の獲得，Attention機構を組み込んだSeq2seqモデルの構築等）でのメロディのベクトル化を実現している．
また，当初計画していたベクトル表現の有効性の評価については，人を対象とした主観的な評価ではなく，客観的な評価を実現する方法について検討し，その評価結果をまとめている．
|
| Current Status of Research Progress |
Current Status of Research Progress
1: Research has progressed more than it was originally planned.
Reason
当初の研究計画を２０２０年度の早い段階で完了し，近年の研究の動向を踏まえて，当初の計画には含まれていなかった音楽メロディの生成モデルの構築に伴うメロディのベクトル表現の獲得についても実現したため，その結果，本研究の当初のスコープを超えて，メロディの生成技術にまで研究の範囲が拡がっている，さらに，２０２１年度以降に実施予定だった，メロディベクトルの応用可能性についても，すでに一部検討を進めており，可視化や検索といったアプリケーションの実現に向けた実験は部分的に実施済みとなっている．
予期せぬ新型コロナウィルス感染拡大の影響により被験者を集めての評価実験の実施が困難となったが，その後計画を修正し，客観的な評価の方法について検討し，その結果を論文としてまとめることもできている．
|
| Strategy for Future Research Activity |
２０２１年度からは，研究の第２フェーズとして，メロディベクトルの応用に注力をしていく．２０２０年度に一部の計画を変更したことから，提案手法の応用範囲として，当初から計画していたメロディ検索やメロディベクトル空間の可視化の他に，メロディの生成までも実現しつつある．この，新たな可能性についても追究をしていき，当初計画していた以上の研究成果を出すことを目指す．
また，メロディに関する情報処理システムの評価手法についてのさらなる検討を進めていくことで，これまで，人が聴くことによる主観的な評価が主流だったものを，より客観的に評価できないかについても検討していく．新型コロナウィルス感染拡大の影響で，人を集めての評価実験などが実施しづらい状況となっているが，その状況を逆手にとり，主観的な評価に頼らない，より汎用的な評価の実現を目指すつもりである．
|
| Causes of Carryover |
新型コロナウィルスの流行により，当初予定していた国内外への研究出張がすべてなくなり，旅費の支出がなくなってしまったため．
国内外の状況が改善次第，当初予定していた国内外への学会参加を行う予定である．当初は，年に１回ないしは２回の国際学会参加を計画していたが，２０２０年度までに参加ができなかった分の費用を２０２１年度，２０２２年度の国際学会参加費用に追加する予定である．
|
| Remarks |
学会発表成果「Doc2vecの応用によるメロディ検索」については，昨年度の実施状況報告書にも掲載した内容であるが，令和元年度および令和２年度両方の研究成果を含んだ内容である．
|
