2020 Fiscal Year Annual Research Report
A Computational Model of Music Understanding Based on Statistical Grammar and Constructive Semantics
| Project/Area Number |
16H01744
|
|---|
| Research Institution | Japan Advanced Institute of Science and Technology |
|---|
Principal Investigator |
東条 敏 北陸先端科学技術大学院大学, 先端科学技術研究科, 教授 (90272989)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
北原 鉄朗 日本大学, 文理学部, 教授 (00454710)
吉井 和佳 京都大学, 情報学研究科, 准教授 (20510001)
平田 圭二 公立はこだて未来大学, システム情報科学部, 教授 (30396121)
浜中 雅俊 国立研究開発法人理化学研究所, 革新知能統合研究センター, チームリーダー (30451686)
長尾 確 名古屋大学, 情報学研究科, 教授 (70343209)
大村 英史 東京理科大学, 理工学部情報科学科, 講師 (90645277)
松原 正樹 筑波大学, 図書館情報メディア系, 准教授 (90714494)
|
|---|
| Project Period (FY) |
2016-04-01 – 2021-03-31
|
| Keywords | 音楽情報処理 / 文法理論 / 木構造 / 時系列処理 |
|---|
| Outline of Annual Research Achievements |
- Rohmeierらによる文法セットGSMを用いてジャズのデータコーパスから後続するコードを予測する認識モデルを計算機上に実装し，このリハーモナイゼーション・システムを提案した．また隠れマルコフモデルによる和声進行規則発見と，和声間距離を数値的に明示する関数の改善を行った．さらに，文法論的音楽情報処理の共通のテストベッドを提供するため，J.S.バッハのオルガン小曲集について音楽学者の手による和声づけを行い，ウェブ上に公開した．
- GTTMのグルーピング構造分析の結果から生成されるタイムスパン木で上位構造を表現し，IRMの暗意-実現/裏切構造で下位構造を表現するという着想を得て，上位と下位に共通する簡約操作を導入した．
- ポピュラー音楽に対してボーカル・キー・コード・ビート・ドラムなどの音楽要素を高精度に楽譜化できる技術を開発した．ピアノ演奏に対して、深層学習に基づく音高推定・リズム採譜を利用することにより可読性に優れた楽譜を出力する技術を開発した．複数の音楽要素の依存関係を考慮したマルチタスク学習や，生成過程と推論過程を統合した高度な音楽理解手法を確立した．
- コード進行のリハーモナイゼーション，複数人演奏用楽譜からのピアノ連弾譜への自動編曲，J-POPからのラテン風ピアノ編曲などのシステムの構築を実現した．
- 言語的な時系列情報であるディスカッションデータを対象に構造化および要約生成に関する研究を行った。具体的には音声認識のエラーを文脈情報を用いて自動修正し，スライドデータと関連付けて要約を生成する仕組みを、機械学習を用いて実現した．
- 音楽聴取プロセスのメタ言語の策定に向けて、音楽演奏講評行為に着目し類型アノテーション済みの音楽演奏講評文データベースを構築し公開した．人間の音楽聴取時の評価を組み込んだ深層学習モデルを考案し和音進行自動生成システムの構築を実現した．
|
| Research Progress Status |
令和2年度が最終年度であるため、記入しない。
|
| Strategy for Future Research Activity |
令和2年度が最終年度であるため、記入しない。
|
