2022 Fiscal Year Annual Research Report
| Project/Area Number |
19H04137
|
|---|
| Research Institution | Kyoto University |
|---|
Principal Investigator |
吉井 和佳 京都大学, 情報学研究科, 准教授 (20510001)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
河原 達也 京都大学, 情報学研究科, 教授 (00234104)
森島 繁生 早稲田大学, 理工学術院, 教授 (10200411)
|
|---|
| Project Period (FY) |
2019-04-01 – 2023-03-31
|
| Keywords | 音楽情報処理 / 深層学習 / 信号処理 / 記号処理 |
|---|
| Outline of Annual Research Achievements |
2022年度は、音楽理解の計算モデルを構築するという観点から、音楽データの認識技術と生成技術に関して多方面から取り組んだ。まず、音楽音響信号に対するEnd-to-End型歌声解析に関して、音高・発音時刻推定の結果を用いることで、CTCに基づく歌詞認識精度が向上することを実証した。音楽音響信号に対するEnd-to-End型歌声採譜に関して、各フレームの小節内相対位置および歌声の音高・発音時刻の有無を同時推定できるようにCTCに基づく学習を行うことにより、従来のようにMIDIデータではなく、直接楽譜を出力することを可能にした。また、拍節構造推定に関して、DNN-HMM型の音声認識に着想を得て、予め各フレームの小節内相対位置を推定するDNNを教師あり学習しておき、小節内相対位置（潜在変数）から特徴量系列（観測変数）が生成される過程を表現するDNN-HMMを構成することで、拍節構造の音楽的整合性を考慮した推定と、混合拍子への対応を実現した。さらに、End-to-End型ドラム採譜に関して、CTCにおけるアラインメント計算時に、テンポの一定性に関する制約を導入する新しい方式を考案した。一方、ポピュラー音楽のバンド譜からピアノ譜への自動編曲に関して、学習データには初級と上級のピアノ譜しか存在しないにも関わらず、出力される各音符の基本重要度を推定し、所望の難易度に合わせたワーピング処理を行うことで、任意の難易度を指定可能な編曲を行う手法を考案した。また、今後の研究の礎として、ピアノ譜から吹奏楽譜への自動編曲についても、深層学習技術の適用可能性に関する初期的な検討を行った。
|
| Research Progress Status |
令和4年度が最終年度であるため、記入しない。
|
| Strategy for Future Research Activity |
令和4年度が最終年度であるため、記入しない。
|
