2017 Fiscal Year Annual Research Report
A Computational Model of Music Understanding Based on Statistical Grammar and Constructive Semantics
| Project/Area Number |
16H01744
|
|---|
| Research Institution | Japan Advanced Institute of Science and Technology |
|---|
Principal Investigator |
東条 敏 北陸先端科学技術大学院大学, 先端科学技術研究科, 教授 (90272989)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
北原 鉄朗 日本大学, 文理学部, 准教授 (00454710)
吉井 和佳 京都大学, 情報学研究科, 講師 (20510001)
平田 圭二 公立はこだて未来大学, システム情報科学部, 教授 (30396121)
浜中 雅俊 国立研究開発法人理化学研究所, 革新知能統合研究センター, チームリーダー (30451686)
長尾 確 名古屋大学, 情報学研究科, 教授 (70343209)
大村 英史 東京理科大学, 理工学部情報科学科, 助教 (90645277)
松原 正樹 筑波大学, 図書館情報メディア系, 助教 (90714494)
|
|---|
| Project Period (FY) |
2016-04-01 – 2021-03-31
|
| Keywords | 音楽情報処理 / 文法発見 / 深層学習 / GTTM / メロディー概形 / カデンツ / タイムスパン木 / 確率文脈自由文法 |
|---|
| Outline of Annual Research Achievements |
1. 階層的な繰り返し構造をもつコード進行の生成モデルを確率的文脈自由文法 (PCFG)
で実現した．これはコード進行に基づくメロディとリズムをともにマルコフモデルで定式化し，それらを統合したもので，コード進行とメロディの階層ベイズモデルを実現した．各モデルは既存楽曲データからベイズ学習することができ，学習済みのモデルを用いてコード進行とメロディのインタラクティブな作曲支援システムを開発した．2. 遺伝的アルゴリズムを用いて旋律を自動生成するアルゴリズムを考案し，その応用システムとして，ユーザが旋律のおおまかな形（旋律概形）をマウスや指でスクリーンに描くとリアルタイムに旋律が生成されて演奏される即興演奏支援システムを開発した．3. 四声体和声（ソプラノ・アルト・テノール・バスの4パートからなる和声）を自動的に生成するアルゴリズムとして long-short term memory (LSTM) を用いたシステムを開発した．我々が以前考案したベイジアンネットワークと今回考案したLSTMに基づくアルゴリズムに対して同じデータを用いて学習・生成の実験を行いその傾向を精査した．4. スペクトログラムから音源分離（個々の音を抽出する操作）を経由せずに，直接 GTTM のタイムスパンセグメンテーションを抽出する手法を提案した．ビートトラッキングによる拍位置にタイムスパン境界が生じることを前提としていたが，その精度が，タイムスパンセグメンテーション抽出の精度に大きく影響することが分かった．記号処理と信号処理が相互作用を及ぼすことで記号接地した記号を創発するフレームワークへの道筋をつけることができた．5. ニューラルネットワークに基づくグルーピング解析・拍節構造解析をdeep GTTM-IIIとして一つのシステムに統合した．6.「音楽・数学・言語」を執筆，出版した．
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
当初の計画ではH29-30年度は，確率文脈自由文法と構成的木構造の統合を目標としている．このうち，H28年度に行った軌道修正により，CCG（組み合わせカテゴリー文法）は棄却した代わりにニューラルネットワークによる木構造生成が高性能を上げ，人工知能研究の一翼として深層学習による効果を提示することができた．これはH28年度の実績報告で推進方策とした課題のうちの一つであり，年度目標に沿った成果を上げることができた．さらに，H29年度の推進方策として課題に挙げたカデンツ認識においては，ドミナントの定義を広げて局所カデンツを探索するシステムを実装し，こちらも目標に沿う形となった．
現在，本研究課題の申請時に較べて機械学習が隆盛であり，構成メンバーの持つ課題においても，申請書類にはなかった方法論が加わっている．LSTM などニューラルネットワークによる手法は既に言及されていたが，これに加えて例えばマルコフモデル，ベイズ学習，遺伝アルゴリズムなどが新たな研究手法として提案されており，プロジェクト全体において順調に成果を上げていると判断される．
|
| Strategy for Future Research Activity |
(1) マルコフモデル・ベイズ推論による文法発見をさらに推進し，深層生成モデルに基づく複雑な構造を持つ楽譜の生成モデルを定式化し，大量の楽譜から教師なし学習し，さらに新たな楽譜を自動生成する方法について研究を行う．
(2) 引き続き、旋律生成アルゴリズムの洗練化を進めるとともに，ウェーブレット分析を用いて旋律概形を抽出する手法，および旋律概形同士の類似度尺度を設計し、旋律の分析についても検討を進める．この旋律概形の抽出法・分析法・類似度尺度は、旋律概形による新たな音楽理論の定式化の基礎となると期待される．
(3) スペクトログラムから直接タイムスパン木の抽出を目指す．タイムスパン木に現れる大域的係受け構造を評価尺度として，記号レベルから誤差を拍位置抽出処理にフィードバックし，より適切な拍位置へと修正する．
(4) 局所カデンツ同定システムを組み込んだ木構造生成システムを開発し，既存のタイムスパン木構造アナライザに組み込むことにより，プロロンゲーション木への統一を企図する．またこのシステムは，これまで曖昧だった枝の接合点の高さを同定するメカニズムを組み込むこととする．
(5) H30年度以降，確率文脈自由文法と構成的木構造，同木構造の上位層とメロディー概形との比較など，メンバー独自に行った成果を統合してウェブ上のシステム公開をめざす予定である．
|
