2018 Fiscal Year Annual Research Report
Music Generation and Analysis Based on Mathematical Modeling of Composiion, Performance and Acoustic Signals
| Project/Area Number |
17H00749
|
|---|
| Research Institution | Meiji University |
|---|
Principal Investigator |
嵯峨山 茂樹 明治大学, 総合数理学部, 専任教授 (00303321)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
北原 鉄朗 日本大学, 文理学部, 准教授 (00454710)
齋藤 康之 木更津工業高等専門学校, 情報工学科, 准教授 (40331996)
堀 玄 亜細亜大学, 経営学部, 教授 (60322658)
小野 順貴 首都大学東京, システムデザイン研究科, 教授 (80334259)
中村 和幸 明治大学, 総合数理学部, 専任教授 (40462171)
堀内 靖雄 千葉大学, 大学院工学研究院, 准教授 (30272347)
齋藤 大輔 東京大学, 大学院工学系研究科(工学部), 講師 (40615150)
饗庭 絵里子 電気通信大学, 大学院情報理工学研究科, 准教授 (40569761)
|
|---|
| Project Period (FY) |
2017-04-01 – 2020-03-31
|
| Keywords | 自動作曲 / 自動伴奏 / 自動運指決定 / 演奏解析 / 音源分離 / 自動和声解析 / Lpノルムビタビアルゴリズム / 隠れマルコフモデル |
|---|
| Outline of Annual Research Achievements |
音楽情報処理に関して多彩な研究を行った。任意の音楽断片を完成する「音楽自動補完」問題を提唱し統計的尤度最大解を求める手法、バロック後期風に主題の模倣を原理と自動作曲、情報理論に基づくオーケストラ曲のピアノ曲への自動編曲、旋律と歌詞から最適コード列の選択手法、Fittsの法則に基づいたマンドリンの最適運指決定、CFGに基づく調推定手法、Chromaベクトル系列のNMF、ピアノ演奏音響信号と楽譜から詳細なオンセット検出などを開発した。高品質な音楽分離を目指し、楽器音の伝搬の音高依存性を調べた。楽器の運指決定に応用可能なp-ビタビアルゴリズムの推定問題の解法について調べた。人間らしい演奏表現が可能な伴奏システムと歌声に調和したハーモニーで合唱出力するシステムを実現した。GAを用いた旋律概形に基づく即興演奏システムJamSketchに対して、音の強さとリズムを制御できるよう拡張を行った。HMMを用いてジャズベースラインを自動生成する方法を実現した。歌詞とMIDIデータに対して、そこから受ける印象を自動で推定する方法を実現した。歌唱の音響信号に対して、イコライザを適用した際の印象の変化を調査した。従来研究よりも多種の非和声音を考慮した非和声解析モデルを構築した。また、ドラム自動採譜に関する２種のモデルを構築した。自動伴奏システムEurydiceを、どの鍵を打鍵しても順次進行するように改良した．ワイヤレス鍵盤を活用し、介護老人保健施設や保育所で適用し，従来のカラオケ以上の積極性、対話の活性化などの知見を得た。調音データから抽出した特徴量および音響特徴量を用いて日本語単語の発声しやすさの指標を作成sし、より定量的な評価に適した日本語単語の発声しやすさの度合いのデータセットの作成を行なった。和音の機能を自然言語処理の手法を用いてベクトル化し、可視化することを試みた。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
音楽情報処理の問題に多角的に取り組むことを目標としている本プロジェクトにおいて、様々な成果が挙げられており、おおむね順調に進展していると言える。
|
| Strategy for Future Research Activity |
今年度の研究構想として、以下の事項を想定している。自動作曲の研究を推進するとともに、博士課程学生２名と若干名の学部生と共同で音楽自動補完、音楽演奏信号の詳細解析と自動演奏への応用、和声的対位法における主題模倣モデル、歌詞に適応する旋律への和声選択、自動伴奏の実用化などを目指す。分散マイクの活用や最新の手法による高品質な楽器音ブラインド分離、ならびに非同期録音の自動同期ミキシングについて検討する。p-ビタビアルゴリズムの推定アルゴリズムを開発する。歌詞に関する自然言語処理の研究をすすめ歌詞から各種画像の生成を行う。人間の演奏者の合奏制御モデルの解明し、伴奏システムに組み込む。一人で合唱を実現できる合唱システムを実現する。旋律概形に基づく即興演奏システムJamSketchの拡張に引き続き取り組む他、メロディから受ける印象を考慮したメロディ生成、機械学習を用いたリハーモナイゼーションなどに取り組む。位相情報を考慮したRNNによるドラム自動採譜について、学習後のネットワークの解析を通じた原理探求を行うとともに、他分野への展開を検討する。自動伴奏システムEurydice のリズムタップ楽曲進行，タテ線譜への符幹・連桁の自動追加、USBカメラによるピアノ運指自動推定，半自動ギター演奏システム構築などを検討する。より和声法確立の歴史を踏まえた分析を行うべく，データベース構築方法から再検証を行い、より音楽に特化した解析を提案する。
|
| Remarks |
2019年5月16日現在の累積作曲数＝249088 曲、再生回数 = 4059736 回（2015/05/06以来の累計）
|
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
[Journal Article] タテ線譜・ユリディスとは何かIV ～現状・課題・将来～2018
Author(s)
阿方 俊, 齋藤 康之, 五十嵐 優, 太田 恵美子, 小澤 真弓, 橘川 琢, 小熊 達弥, 坂井 康二, 戸引 小夜子, 永田 晃弘, 坂 利美
-
Journal Title
日本電子キーボード音楽学会 第14回全国大会
Volume: -
Pages: 10-11
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
[Presentation] タテ線譜・ユリディスとは何かIV ～現状・課題・将来～2018
Author(s)
阿方 俊, 齋藤 康之, 五十嵐 優, 太田 恵美子, 小澤 真弓, 橘川 琢, 小熊 達弥, 坂井 康二, 戸引 小夜子, 永田 晃弘, 坂 利美
Organizer
日本電子キーボード音楽学会 第14回全国大会
-
-
-
-
-
-
-
-
-
-
-
-
