研究課題
2022年度は、音楽理解の計算モデルを構築するという観点から、音楽データの認識技術と生成技術に関して多方面から取り組んだ。まず、音楽音響信号に対するEnd-to-End型歌声解析に関して、音高・発音時刻推定の結果を用いることで、CTCに基づく歌詞認識精度が向上することを実証した。音楽音響信号に対するEnd-to-End型歌声採譜に関して、各フレームの小節内相対位置および歌声の音高・発音時刻の有無を同時推定できるようにCTCに基づく学習を行うことにより、従来のようにMIDIデータではなく、直接楽譜を出力することを可能にした。また、拍節構造推定に関して、DNN-HMM型の音声認識に着想を得て、予め各フレームの小節内相対位置を推定するDNNを教師あり学習しておき、小節内相対位置（潜在変数）から特徴量系列（観測変数）が生成される過程を表現するDNN-HMMを構成することで、拍節構造の音楽的整合性を考慮した推定と、混合拍子への対応を実現した。さらに、End-to-End型ドラム採譜に関して、CTCにおけるアラインメント計算時に、テンポの一定性に関する制約を導入する新しい方式を考案した。一方、ポピュラー音楽のバンド譜からピアノ譜への自動編曲に関して、学習データには初級と上級のピアノ譜しか存在しないにも関わらず、出力される各音符の基本重要度を推定し、所望の難易度に合わせたワーピング処理を行うことで、任意の難易度を指定可能な編曲を行う手法を考案した。また、今後の研究の礎として、ピアノ譜から吹奏楽譜への自動編曲についても、深層学習技術の適用可能性に関する初期的な検討を行った。
令和4年度が最終年度であるため、記入しない。
すべて 2022
すべて 雑誌論文 (3件) (うち国際共著 2件、 査読あり 3件、 オープンアクセス 2件) 学会発表 (9件) (うち国際学会 9件)
APSIPA Transactions on Signal and Information Processing
巻: 11 ページ: 1-27
10.1561/116.00000052
IEEE/ACM Transactions on Audio, Speech, and Language Processing
巻: 30 ページ: 2368-2382
10.1109/TASLP.2022.3190734
巻: 30 ページ: 1734-1748
10.1109/TASLP.2022.3172631
