研究課題
音楽音響信号を楽譜に変換するための取り組みとして、音響モデルと言語モデルの確率的統合に関して当初の想定以上の進展があった。具体的には、ピアノロールからスペクトログラムが生成される過程を表現するNMFに基づく音響モデルに、調やコード進行からピアノロールが生成される過程を表現する階層HMMに基づく言語モデルを統合することで、統一的な階層ベイズモデルを提案した。実験の結果、提案法により音楽文法の一種であるコード構造が正しく学習され、さらに自動採譜精度が向上することを確かめた。本研究成果は、音楽情報処理分野のトップカンファレンスであるISMIR 2015に採択された。一方、MIDI演奏信号を楽譜に変換するための取り組みとして、演奏モデルと言語モデルの確率的統合にも成功した。具体的には、音符の系列に対して時間的なゆらぎが付加されて実際の発音時刻が生成されるLDSに基づく演奏モデルに、音型の変形を伴う繰り返しにもとづいて音符系列が生成されるHMMに基づく言語モデルを統合することで、統一的な階層ベイズモデルを提案した。実験の結果、従来手法より精度が向上することを確かめた。本研究成果は、信号処理分野の国際会議であるEUSIPCO 2015に採択された。リアルタイムで音楽を認識する技術を応用して、人間と共演することができるダンスロボットの開発にも取り組んだ。本研究成果は、英文ジャーナルであるJRMに採択された。
1: 当初の計画以上に進展している
「研究実績の概要」に述べた通り、音響モデル・言語モデルの統合に関して大幅に進展が見られたため、この枠組みを他の対象へ応用していく基盤ができあがった。
当初の計画通り、最終年度は、音響モデルと言語モデルの統合モデルの洗練化をすすめる。特に、歌声F0軌跡から音符系列を推定する際に、同様の方式が利用可能であるかを検討する。さらに、コード進行に関して、従来行われてきたn-gramによるモデルだけではなく、木構造型の解析が可能かどうか検討し、音楽の作曲・編曲支援への応用についても研究をすすめる。
当初は高速な計算サーバを購入予定であったが、他予算にて購入のめどがたったので、最終年度の向けての研究の加速のため、音楽データベースの拡充に使用した。この方針に沿って研究が推進できたが、人件費が想定より少なくて済んだため、繰越金が生じた。
計算サーバと楽曲データベースを追加で拡充するのと合わせて、大規模な音響信号データ・楽譜データに対する確率モデルの学習をすすめる予定である。
すべて 2017 2016 その他
すべて 国際共同研究 (1件) 雑誌論文 (5件) (うち査読あり 3件、 オープンアクセス 3件、 謝辞記載あり 3件) 学会発表 (15件) (うち国際学会 5件、 招待講演 1件)
Journal of Robotics and Mechatronics
巻: Vol. 29, No. 1 ページ: 125-136
10.20965/jrm.2017.p0125
IEEE/ACM Transactions on Audio, Speech, and Language Processing
巻: Vol. 25, No. 4 ページ: 794-806
10.1109/TASLP.2017.2662479
巻: Vol. 24, No. 11 ページ: 2084-2095
10.1109/TASLP.2016.2577879
情報処理学会誌
巻: Vol. 57, No. 6 ページ: 10-13
電子情報通信学会誌
巻: Vol. 99, No. 5 ページ: 456-460
