2017 Fiscal Year Annual Research Report
Music Generation and Analysis Based on Mathematical Modeling of Composiion, Performance and Acoustic Signals
| Project/Area Number |
17H00749
|
|---|
| Research Institution | Meiji University |
|---|
Principal Investigator |
嵯峨山 茂樹 明治大学, 総合数理学部, 専任教授 (00303321)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
小野 順貴 国立情報学研究所, 大学共同利用機関等の部局等, 准教授 (80334259)
堀 玄 亜細亜大学, 経営学部, 教授 (60322658)
堀内 靖雄 千葉大学, 大学院工学研究院, 准教授 (30272347)
中村 和幸 明治大学, 総合数理学部, 専任准教授 (40462171)
北原 鉄朗 日本大学, 文理学部, 准教授 (00454710)
齋藤 康之 木更津工業高等専門学校, 情報工学科, 准教授 (40331996)
|
|---|
| Project Period (FY) |
2017-04-01 – 2020-03-31
|
| Keywords | 自動作曲 / 自動伴奏 / 自動運指決定 / 自動ジャズセッション / 音源分離 / 自動和声完成 / Lpノルムビタビアルゴリズム / 旋律生成 |
|---|
| Outline of Annual Research Achievements |
当年度の研究成果の一部は以下の通りである。自動ジャズセッションシステムに関して、各楽器の演奏を演奏特徴量ベクトル空間内の軌跡として捉えて定式化し、ピアノトリオの実際の演奏データから機械学習を用いて、それらの時系列モデルとそれらの相互関係を学習し、ピアノ演奏からベースとドラムスの演奏を推定してジャズトリオを自動生成するシステムを作成した。自動作曲に関して、未完成の四声体和声（穴開き和声）の自動完成問題を世界で初めて提唱し、和音連鎖統計から最適和声系列を決定し、与えられたHMMにより定式化し、すでに部分的に与えられた音符を含むような制約付きViterbiアルゴリズムによってボイシングを完成する方式を開発した。自動伴奏に関しては、打楽器の任意演奏に同期してテンポ変化に追随して伴奏音楽を再生するシステムを実現するアルゴリズムを開発した。また、DNNを用いた音楽信号のボーカルキャンセル／ボーカル抽出の検討を行った。Minimax Viterbiアルゴリズムと従来のビタビアルゴリズムを補間するLp-ビタビアルゴリズム、語彙の分散的意味表現に基づく自動作詞、ポジション移動に注目したマンドリンの運指決定などの研究を行った。遺伝的アルゴリズムを用いて、ユーザが入力した旋律概形に沿っており、かつ音楽的に不自然ではない旋律を自動的に生成するアルゴリズムを考案した。音楽的素養のないユーザが旋律概形をスクリーンに描くだけで即興演奏が行えるシステムを実現した。四声体和声を自動生成する方法についてLSTMで処理を実現する方法を検討した。この和声生成の知見を活用し、カラオケにおけるハモリパートをユーザが練習するシステムを実現し、被験者実験にて有効性を確認した。また、当プロジェクトで開発した自動伴奏システムEurydiceの応用に関して、多くの協力者の協力を得て、老人ホームでの活用などの実践成果が得られた。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
課題の分担により、広い研究分野で各分担者が成果を生み出し、多数の成果発表が行えた。
|
| Strategy for Future Research Activity |
今後の研究計画内容は以下の通りである。和声解析に関して、chromaベクトル系列（クロマグラム）の非負値行列分解を行う。また和音を基底とする分解を行うことによる和声解析を進める。自動演奏を目指して、楽譜と録音の詳細なマッチングを行い、和音の構成音の打点時刻と強度の不揃いなどを検出し、それをDNNベースの自動演奏に使用することで、名演奏家の奏法を模擬できる自動演奏を目指す。自動編曲に関して、オーケストラ曲楽譜をピアノ曲へ自動編曲する手法を、ペアデータを用いてDNNの機械学習を行うことによって実現する。自動作曲に関連して、穴開き和声の完成問題に文法による旋律生成を加えることにより、ユーザが与えた音楽断片から曲を完成し生成する手法を開発する。人間同士の合奏の分析から得られた人間の合奏制御方法をモデル化し、伴奏システムに実装する。伴奏システムの演奏を表情豊かにするため、事前に人間の演奏家が演奏した伴奏データをリアルタイムに独奏者の演奏に同期させる手法を検討する。人間の歌を独奏とする伴奏システムを開発するため、人間の歌声追跡技術を開発する。ミニマックス・ビタビアルゴリズムと従来のビタビアルゴリズムを補間するLp-ビタビアルゴリズムが解く復号問題をギター、マンドリンなどの運指決定問題に応用する研究を進める。また、語彙の分散的意味表現に基づいて自動作曲パラメータを決定する手法を開発する。旋律生成アルゴリズムについては、一定の評価は得られたものの、単調であり「人間らしさ」は低い結果となったので、アルゴリズムの改良、データベースの拡充を行い、より人間に近い旋律を生成できるよう改善を進める予定である。ヒューマンインタフェースの観点からは、音楽の素養のない人がどのようなインタフェースであれば無理なく使いこなせるかを評価実験を通じて明らかにし、その結果に基づいてシステムの改良を行いたい。
|
| Remarks |
自動作曲サイト。無償で自動作詞・自動作曲を試みることができる。今までの作曲数（同じ歌詞に異なる作曲を含む）は２０万曲を超え、閲覧回数は２５０万回を超えている。
|
Research Products
(92 results)
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
[Presentation] タテ線譜メソッドとは何かIII - 教材と指導，タテ線譜への変換，ユリディスの活用を通して2017
Author(s)
戸引 小夜子, 橘川 琢, 西山 淑子, 小澤 真弓, 垣浪 文美香, 小熊 達弥, 五十嵐 優, 坂井 康二, 坂 利美, 永田 晃弘, 牧野 剛博, 阿方 俊, 和智 正忠, 齋藤 康之
Organizer
日本電子キーボード音楽学会 第13回全国大会
-
-
