2019 Fiscal Year Annual Research Report
A Computational Model of Music Understanding Based on Statistical Grammar and Constructive Semantics
| Project/Area Number |
16H01744
|
|---|
| Research Institution | Japan Advanced Institute of Science and Technology |
|---|
Principal Investigator |
東条 敏 北陸先端科学技術大学院大学, 先端科学技術研究科, 教授 (90272989)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
北原 鉄朗 日本大学, 文理学部, 准教授 (00454710)
吉井 和佳 京都大学, 情報学研究科, 准教授 (20510001)
平田 圭二 公立はこだて未来大学, システム情報科学部, 教授 (30396121)
浜中 雅俊 国立研究開発法人理化学研究所, 革新知能統合研究センター, チームリーダー (30451686)
長尾 確 名古屋大学, 情報学研究科, 教授 (70343209)
大村 英史 東京理科大学, 理工学部情報科学科, 助教 (90645277)
松原 正樹 筑波大学, 図書館情報メディア系, 助教 (90714494)
|
|---|
| Project Period (FY) |
2016-04-01 – 2021-03-31
|
| Keywords | 音楽情報処理 / 木構造 / 時系列処理 / 文法理論 / 和声解析 |
|---|
| Outline of Annual Research Achievements |
文法発見においてはGTTMなどによる分析的な手法に加えて，機械学習による統計的な手法を応用する試みを続けているところであるが，2019年度は比較対照のため音楽家による音楽構造木の分析データを蓄積した．さらに特筆すべきは，構文木生成において楽曲の進行に合わせて漸進的に木を構築していくモデルに行き着いたことであり，我々の認知モデルにも合致した木構造の生成を提案した．この木構造においては，論理学の記号を用いて予測に関するアノテーションを行うことも併せて提案した．論理記号を用いることは，構成的な意味論，すなわち部分木の情報の統合が全体のゲシュタルトを形成するという考え方に沿うものである．
また音楽言語モデルを考慮することにより，音楽的に妥当な楽譜を出力できる自動採譜システムの研究を進めた．具体的には，歌声・ドラム自動採譜において，音符系列やドラムパターンに内在する複雑な構造を，深層生成モデルを用いてモデル化することを試みた．さらに，隠れマルコフモデルを用いた和声からのベースパートの生成，ルールベースによる自動編曲システムなどを実現した．
上記音楽モデルはより一般的な認知モデルにも発展可能なものである．2019年度は既存曲のピッチ情報から，ピッチ格子空間内にガウシアンに基づくピッチの分布を生成し，既存曲の分析および類似曲の生成を行うシステムを開発した．また，人間の認知特性の一つである聴覚ゲシュタルトを考慮して，複数時系列データの音楽表現の提案を行った．これらの手法は音楽以外のメディアにも応用され，会議における一連の発言の時系列に対してさまざまなメタ情報を収集して分析し，ディスカッションに含まれる重要発言の抽出を行った．
さらに機械学習を用いては，活性化関数に振動関数を用いるニューラルネットワークで任意の信号を学習・生成する方式を考案し，そのフィージビリティスタディを行った．
|
| Current Status of Research Progress |
Current Status of Research Progress
1: Research has progressed more than it was originally planned.
Reason
楽曲における木構造生成において，漸進的構築モデルを具体化したことは本研究プロジェクト遂行上における重要な進展である．漸進的構築モデルとは曲全体をパーサに一度に渡すことではなく，我々の音楽認知と同様に音楽を聴きながら時間を追って構文木を構築していく方法であり，文法理論と認知モデルの統合への端緒となる．さらに論理記号を用いたことにより，部分木の情報の統合を構成的に全体意味に反映させることができた．また，音楽構造の木構造解析を容易に行うためのWebベースのツールの開発を行い，音楽構造の利用法をデモンストレーションするためのシステムを構築した．我々はかねてより木構造の類似性検証にも成果を挙げており，木構造を確率的に表現し確率分布間の距離として類似性を定義し，相対擬補元を定義するアプローチを検討した．
また文法獲得においては，機械学習の成果を援用しており，自動作曲・編曲の複数のタスクに関して，各タスクの性質に合わせて確率モデルやルールベースなどの適切なアプローチを採用して定式化およびシステムの実装を行った．しかしタスクごとに異なる定式化となっているため，より統一的な視点からの定式化が望まれる．さらに，深層生成モデルを用いて大量の楽譜データからそこに内在する文法規則を教師なし学習させる技術について進展があった．
認知モデルの構築においては，既存曲の分析を行い，ピッチとリズムの格子空間にガウシアンに基づく確率分布を生成した．また木構造を用いた認知的音楽理論の拡張として，短期記憶や動的な聴取モデルの形式化に取り組んだ．これら認知モデルの応用として会議録解析をおこない，ミーティングレコーダーと呼ばれるシステムを開発して1年間運用し，会議中の発話内容以外に顔特徴や心拍数を測定した．同時に「集中」「混乱」などの心的状態ラベルを発言者に付与した．
|
| Strategy for Future Research Activity |
2020年度は研究計画最終年度であることに鑑み，木の構成と言語学的知見から追及する具体的目標として，以下のように設定する．まず，木の構成において時系列に沿った漸進的な木構築を実装し，木の予測が認知的な音楽の期待感と合致することを示す．このため，木の予測について論理記号を用いたアノテーションを行う．また楽譜データベースの整備を進め，LSTMなどのよりモダンな手法を活用し作編曲の質を改善する．木構造推定の精度を高め，類似性検証のアルゴリズムを研磨することで，信頼性の高い楽曲検索システムを実現する．
音楽構造の木構造解析を容易に行うために，構造木を深層学習に基づき自動獲得するシステムを構築する．深層生成モデルを用いて大量の楽譜データからそこに内在する文法規則を教師なし学習させる技術を深めるとともに，他の損額要素であるキー・コード・ビートに関しても包括的かつ同時にモデル化することに取り組む．
人間の音楽認知を理解するためにピッチとリズムの格子空間にガウシアンに基づく確率分布を生成し，期待感との関係に結びつけ，IR理論などをもとに音楽的期待感の定式化を行う．木構造を用いた認知的音楽理論の拡張として，短期記憶や動的な聴取モデルの形式化に取り組み，モデルの形式化の評価として計算論的アプローチによる認知的リアリティの有無を検討する．木構造が時系列の応用であることを示すため談話構造理解を行い，会議中の発話とともに心的状態ラベルを付与し発話の重要性との関係を明らかにする．
以上の成果は秋季に日本で国際学会International Symposium on Computer Music Multidisciplinary Resaerch (CMMR2020)を開催し，特別なセッションを設けて本研究成果を発表する．また海外よりこの分野の第一線の研究者を招き評価を問う．
|
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
[Presentation] Joint Transcription of Lead, Bass, and Rhythm Guitars Based on a Factorial Hidden Semi-Markov Model2019
Author(s)
Kentaro Shibata, Ryo Nishikimi, Satoru Fukayama, Masataka Goto, Eita Nakamura, Katsutoshi Itoyama, Kazuyoshi Yoshii
Organizer
IEEE International Conference on Acoustics, Speech, and Signal Processing (ICASSP)
Int'l Joint Research
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
[Book] 人工知能が音楽を創る2019
Author(s)
David Cope, 平田圭二(監訳), 今井慎太郎, 大村英史, 東条敏(訳)
Total Pages
443
Publisher
音楽之友社
ISBN
978-4-276-21413-2
-
