2021 Fiscal Year Annual Research Report
| Project/Area Number |
19H04137
|
|---|
| Research Institution | Kyoto University |
|---|
Principal Investigator |
吉井 和佳 京都大学, 情報学研究科, 准教授 (20510001)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
河原 達也 京都大学, 情報学研究科, 教授 (00234104)
森島 繁生 早稲田大学, 理工学術院, 教授 (10200411)
|
|---|
| Project Period (FY) |
2019-04-01 – 2023-03-31
|
| Keywords | 音楽情報処理 / 深層学習 / ベイズ学習 / 信号処理 / 記号処理 / 音響信号処理 / 音声処理 / 画像処理 |
|---|
| Outline of Annual Research Achievements |
2021年度は、音楽認識に関して、これまで培った各種技術の統合と高度化に取り組むとともに、音楽生成に関して、自動編曲技術の開発にも着手した。まず、相互依存関係を持つコードとキーの同時推定に関して、コード推論モデルとクロマベクトル生成モデルの同時学習を行うための変分自己符号化器 (VAE) を拡張し、キー系列・コード系列・クロマベクトル系列の三階層からなる階層VAEを定式化することで、キー推論モデルとコード生成モデルの同時学習を実現した。また、拍節構造推定に関して、各フレームにおけるビート・ダウンビートの存在確率 (0から1) を予測する代わりに、位相 (0から２pi) を予測することで、拍節構造の周期性を効果的に学習する手法を考案した。さらに、ドラム採譜に関して、大域的な周期構造を捉えるため、周期関数に基づく位置エンコーディングと自己注意機構に加えて、ドラム言語モデルに基づく正則化を用いる手法を考案した。ピアノ採譜に関しては、採譜誤りは挿入・削除・置換からなる確率的な編集操作であるという立場から、誤りを含む採譜結果の生成過程を階層隠れマルコフモデル (HHMM) を用いて定式化し、誤りを含む採譜結果から真の楽譜を解析的に推定する手法を考案した。また、ピアノ採譜における音価・声部推定部において、従来のHMMの代わりに、深層学習を用いて一挙に推論を行う手法を考案した。一方で、自動編曲に関して、ポピュラー音楽のバンド譜からピアノ譜への深層変換モデルを学習する際に、本来一意に定めることができない正解楽譜と音符レベルで表層的に一致させるだけではなく、音符全体から計算される統計量（同時発音数・音高幅・音符密度）を、所望の難易度の統計量に近づくような正則化を行う手法を考案した。視覚情報の取り扱いに関して、VAEに基づく画像データに対する姿勢推定技術の高精度化も実現した。
|
| Current Status of Research Progress |
Current Status of Research Progress
1: Research has progressed more than it was originally planned.
Reason
「研究実績の概要」に述べた通り、当初の目標である聴覚系・視覚系における音楽理解に向けて着実に進んでいる。音楽解析・創作の両面において顕著な進展が見られた。
|
| Strategy for Future Research Activity |
音楽認識に関して、様々な音楽要素を同時に推定可能な統合技術の開発に取り組む。ポピュラー音楽の骨格をなす歌声解析に関しては、歌声採譜・音源分離・歌詞認識などの技術の統合に取り組む。音楽創作に関して、自動編曲における連続的な難易度制御や、自動伴奏システムの開発にも取り組む。
|
