研究課題
平成28年度は、音楽言語モデルの構成・評価とデータ収集を中心に行った。まず、音楽の階層構造を記述する確率的文脈自由文法（PCFG）に基づくモデルの構成を行った。音符単位・動機単位・フレーズ単位などの階層構造を持つ音楽のモデルとして知られているGTTM (Generative Theory of Tonal Music)を計算論的に定式化し、音楽の文法規則をデータから統計的に学習可能なモデルの定式化を行った。音楽専門家による楽曲分析データを用いた評価により、特に局所構造がモデルにより高精度で推定可能であることが示された。また音楽の大局構造を支配する反復構造を記述するモデルとして、音型の反復と変形に基づく階層ベイズ音楽言語モデルの定式化を行った。これにより各楽曲で特徴的に用いられる音型の統計学習ができ、またシンコペーションといった音楽スタイルを記述する上で重要な要素の記述が可能となった。単旋律楽曲のMIDI演奏データの採譜において最高レベルの認識性能を達成した。ピアノ編曲に向けたモデルとして、音楽の多声部構造を記述する出力合流HMM（隠れマルコフモデル）を用いた定式化を行ったピアノ演奏MIDIデータからの採譜においてモデル評価を行った結果、特に複数声部間で異なるリズムを持つ音楽（ポリリズム音楽）において顕著な認識精度向上が見られた。また総合的にも最高レベル性能を持つ手法が得られることが分かった。データ収集に関しては、楽譜データと整合がとれた演奏データ200フレーズ以上とピアノ運指データ20フレーズ以上の収集・整備が既に完了しており、現在増強中である。また研究協力者と共同でポピュラー音楽の電子形式楽譜データおよび音楽家による編曲データの収集も行った。
2: おおむね順調に進展している
研究実績の概要の通り、多方面において順調に成果が得られたため。
引き継づき研究計画の通り進めて行く。また、言語モデルの拡張として、多声部音楽の各音符の音長を記述するモデルの構築も行う。従来は音符の（発音）楽譜位置のみを記述するモデルが広く研究されているが、多声部音楽における音符同士の時間的な複雑な重なり合いを記述するには音長情報が重要である。音長が周辺の音符の楽譜位置や音高に強く依存する点に着目し、音長を予測可能なモデルを構築した。既にピアノ演奏MIDIデータからの採譜における有効性は示されている。今後、演奏音響データからの採譜への応用が期待される。一方で音楽のスタイルを記述するためには、音符単位のモデルだけではなく、ハーモニーを記述するコード単位のモデルが重要だと考えられる。和音の特徴を記述する和声機能を音楽データから教師なしで学習可能な枠組みを、HMMやPCFGに基づくモデルを用いて定式化する。トニックやドミナントといった伝統的音楽理論で使われる和声機能がデータから自動的に学習可能であることが確認された。今後の自動編曲への応用を進める。
すべて 2017 2016 その他
すべて 国際共同研究 (1件) 雑誌論文 (2件) (うち査読あり 2件、 謝辞記載あり 1件) 学会発表 (25件) (うち国際学会 8件) 備考 (1件)
IEEE/ACM Transactions on Audio, Speech, and Language Processing
巻: 25(4) ページ: 794～806
10.1109/TASLP.2017.2662479
Journal of Robotics and Mechatronics
巻: 29(1) ページ: 125-136
10.20965/jrm.2017.p0125
http://eita-nakamura.github.io/index-ja.html
