2018 Fiscal Year Annual Research Report
A Computational Model of Music Understanding Based on Statistical Grammar and Constructive Semantics
| Project/Area Number |
16H01744
|
|---|
| Research Institution | Japan Advanced Institute of Science and Technology |
|---|
Principal Investigator |
東条 敏 北陸先端科学技術大学院大学, 先端科学技術研究科, 教授 (90272989)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
平田 圭二 公立はこだて未来大学, システム情報科学部, 教授 (30396121)
浜中 雅俊 国立研究開発法人理化学研究所, 革新知能統合研究センター, チームリーダー (30451686)
長尾 確 名古屋大学, 情報学研究科, 教授 (70343209)
北原 鉄朗 日本大学, 文理学部, 准教授 (00454710)
吉井 和佳 京都大学, 情報学研究科, 准教授 (20510001)
大村 英史 東京理科大学, 理工学部情報科学科, 助教 (90645277)
松原 正樹 筑波大学, 図書館情報メディア系, 助教 (90714494)
|
|---|
| Project Period (FY) |
2016-04-01 – 2021-03-31
|
| Keywords | 木構造 / 楽曲解析 / GTTM / HMM / メロディー解析 / 和声解析 / 議論解析 / 創発 |
|---|
| Outline of Annual Research Achievements |
1. 楽曲の木構造生成においては，タイムスパン木における枝接合高さの正確化を図る提案を行った．この枝の高さの決定においては，カデンツ認識が重要である．このため，TPS理論の改良を行い，認識の精度を向上させた．さらにカデンツ認識のもととなるコード進行解析においてはHMMによる状態サイズの最適化を行い，和声機能の細分化を図った．またコードとメロディーの階層構造の定式化と統計的学習を行い，自動作曲支援システムを開発した．単旋律に対しては，確率的テンプレートによる繰り返し構造をの生成モデルの定式化と統計的学習を行い自動採譜に応用した．またタイムスパン木に対してギター演奏知識を関連付けるアノテーションシステムを構築した．
2. 木構造を生成する立場に対比させて，旋律概形から楽曲の構造認識・生成を行う立場からは，特に生成においては，JamSketchの改良と評価を行い，生成される旋律の品質の人間との比較を行うとともに，システム・インタフェースの改良を行った．ベースの旋律生成においてはHMMを用いた生成を実現した．
3. 木構造を他メディアへの応用する例としてディスカッションマイニングを行い，ディープラーニングによる要約の実験を行い，データ収集の仮想現実環境を実現した．またゲシュタルトに基づく議論構造の木構造解析を行い，議論の結論・展開・質問応答ペアの認識などから議論の要約システムを実現した．
4. 解析データベースは逐次解析例を収集中であるが，公開をめざして操作性の高い分析ツールの作成を行った．
5. 音楽の創発的認知においては，ピッチとリズムによる物理的な比の関係による格子平面の提案を行い，また12音平均律以外の音律における三和音における不協和度の視覚化を行った．
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
当初の計画ではH29-30年度は，確率文脈自由文法と構成的木構造の統合を目標としているが，H30年度はこの両方において，上記研究実績の概要に記載したとおり，重要な進展があった．まず，タイムスパン木の構築においてはカデンツ認識の精度を上げることが喫緊の課題であったが，TPSの改良と枝接合の高さの両方において所定の成果を挙げ，楽曲の形式表現として十分なクオリティを確保することができた．これには木構造のみに頼らず局所的にHMMを用いることにより，和音列の調・度数同定においてその性能を高めたことが寄与している．
近年では木構造構築においても統計的な学習方法が主流となっているが，コード列認識・メロディー認識において階層的な木構造を作るシステムが確率文脈自由文法に依存するシステムとしたところが本申請課題においてもよく効果を上げている．文法は規範であると同時に統計的によってもその規則を構成するという考え方が言語のみならず音楽にも同様に適用できることを世に示したことは大きい．
木構造によるメロディー認識は，旋律線としてみたときの図形的な概形としての認識と対比して，あるいは統合して評価する必要がある．現在では両システムは独立に成果を挙げているが，本申請課題の後半に向けての課題である．
本申請課題においては構成的意味論を木構造に付与する課題を当初より目標としていた．このテーマに関しても当該年度は演奏知識のアノテーションという形で実現をみることができた．
その他，木構造の他メディア，具体的には議論構造などへの応用，および音律の自己組織的形成など応用面に関わる分野の成果は順調である．将来に向けては，解析例のデータベース公開が今後の課題として挙げられる．
|
| Strategy for Future Research Activity |
1. 木構造の統計的構成とタイムスパン木の精度においては十分な成果を挙げたところで，今年度は，意味情報のアノテーションを企図する．前年度までは演奏情報の付与を行ったがこのテーマを継続するとともに，木構造内の参照関係を明示する枠組みを構築し，構成的意味付与の課題を推進する．
2. 旋律認識についてはポリフォニックな旋律に対する音楽言語モデルに定式化に取り組み，自動採譜に応用する．また，ウェーブレット変換などの信号処理技術を用いた旋律概形抽出，および旋律概形をもとにした自動作曲・自動編曲に取り組む．
3. 本申請課題後半に向けて，応用システムの実現も課題となる．本年度はジャズ即興演奏の意図を理解する演奏家モデルの構築を通して，ジャズ音楽家が即興演奏を通じて長期間に渡り相互理解を深め合っていく仕組みを解明する．また木構造の簡約を用いた変奏曲の自動生成に取り組む．
4. ディスカッションマイニングについては，前年度までに構築した仮想現実環境を用いてディスカッションに伴うさまざまなデータを収集し分析する．
5. 音律の自己組織化については，認知的意味の定量的形式化を行う．
以上に加え，前年度までの取り組みと同様，解析例データベースの作成と構成的意味構造の設計・構築を合わせて今後の推進方策とする．
|
