2020 Fiscal Year Annual Research Report
| Project/Area Number |
19H04137
|
|---|
| Research Institution | Kyoto University |
|---|
Principal Investigator |
吉井 和佳 京都大学, 情報学研究科, 准教授 (20510001)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
河原 達也 京都大学, 情報学研究科, 教授 (00234104)
森島 繁生 早稲田大学, 理工学術院, 教授 (10200411)
|
|---|
| Project Period (FY) |
2019-04-01 – 2023-03-31
|
| Keywords | 音楽情報処理 / 音響信号処理 / 音声処理 / 画像処理 |
|---|
| Outline of Annual Research Achievements |
2020年度は、音楽認識に関して、様々な音楽要素の推定に多角的かつ同時的に取り組んだ。まず、コード推定に関して、音響特徴量をコード系列に変換する採譜モデルと、コード系列を音響特徴量に変換する生成モデルの同時学習法を発展させ、正解データの有無に関わらず、任意の音響信号を学習データに用いることができるVAEに基づく半教師あり学習法を考案した。また、ビート推定に関して、ビート・ダウンビート・テンポの相互依存関係および周期性を表現可能なマルチタスク学習の検討を開始し、予備的な実験結果を得た。さらに、歌声採譜に関しては、音響信号から音符列を直接推定する識別的プローチ（DNNベース）と、音符列から音響信号の生成過程を考えたうえで逆問題を解く生成的アプローチ（HMMベース）の利点を融合したハイブリッドアプローチを考案した。この種のDNN-HMM型のアプローチは音声認識分野で有効性が知られていたが、十分な学習データを準備することが困難なことが多い音楽解析での有効性を示した。ピアノ採譜に関しても、DNNベースのピアノロール推定とHMMベースのリズム採譜を組み合わせることで、ポピュラー音楽のピアノ演奏に対する高精度な楽譜推定を実現した。また、音楽生成に関して、与えられたメロディに対し、ユーザとインタラクションを行いながらコード進行を付与することができるシステムを洗練化した。ダンス映像の認識・生成に関しても、コード認識と同様にVAEを用いた半教師あり学習が可能であることを確認した。
|
| Current Status of Research Progress |
Current Status of Research Progress
1: Research has progressed more than it was originally planned.
Reason
「研究実績の概要」に述べた通り、当初の目標である聴覚系・視覚系における音楽理解に向けて着実に進んでいる。音楽の自動採譜においては、想定以上の進展があった。
|
| Strategy for Future Research Activity |
音楽認識に関して、コード推定とビート推定に関してはこれまで独立に研究を進めてきたが、統合する方式について検討を行う。この際、メロディ推定の統合も視野に入れる。音楽生成に関して、ポピュラー音楽の自動編曲のように、コードではなく、具体的な音符の推定にも取り組む。
|
Research Products
(17 results)
