Music Generation and Analysis Based on Mathematical Modeling of Composiion, Performance and Acoustic Signals

2019 Fiscal Year Final Research Report

• Project/Area Number: 17H00749
• Research Category: Grant-in-Aid for Scientific Research (A)
• Allocation Type: Single-year Grants
• Section: 一般
• Research Field: Perceptual information processing
• Research Institution: The University of Electro-Communications (2019); Meiji University (2017-2018)
• Principal Investigator: Sagayama Shigeki 電気通信大学, 大学院情報理工学研究科, 客員研究員 (00303321)
• Co-Investigator(Kenkyū-buntansha): 北原 鉄朗 日本大学, 文理学部, 准教授 (00454710) ; 齋藤 康之 木更津工業高等専門学校, 情報工学科, 准教授 (40331996) ; 堀 玄 亜細亜大学, 経営学部, 教授 (60322658) ; 小野 順貴 首都大学東京, システムデザイン研究科, 教授 (80334259) ; 中村 和幸 明治大学, 総合数理学部, 専任教授 (40462171) ; 堀内 靖雄 千葉大学, 大学院工学研究院, 准教授 (30272347) ; 齋藤 大輔 東京大学, 大学院工学系研究科(工学部), 講師 (40615150) ; 饗庭 絵里子 電気通信大学, 大学院情報理工学研究科, 准教授 (40569761)
• Project Period (FY): 2017-04-01 – 2020-03-31
• Keywords: 自動作曲 / 音源分離 / 自動伴奏 / 音楽インタフェース / 福祉応用 / 自動編曲 / 自動作詞 / 自動運指決定

Outline of Final Research Achievements

We performed various researches in the field of music information processing. Regarding the music information field as a three-level hierarchical structure comprising of the score level, the performance level, and the signal level, we tackled various problems from the viewpoint of information conversion within and between layers and their interaction with humans. Numerous research results were achieved including some examples such as: (1) Automatic completion of music: the world's first proposal and solution of a problem that complements and completes a song full of holes such as melody fragments and partial harmony, (2) Using score Detailed analysis and separation of onset time of music signal, (3) New theory and algorithm for automatic fingering determination, (4) Welfare application of automatic accompaniment system, (5) Dissemination of automatic music system Orpheus to society, and many more.

Free Research Field

音楽情報処理

Academic Significance and Societal Importance of the Research Achievements

音楽自動補完は、ユーザが人工知能に望む方向性に合致し、今後の自動作曲の新しい方向性を示している。自動運指決定で開拓したLpノルムViterbiアルゴリズムは、広範囲の問題に適用できる。楽譜を用いた音楽信号のonset時刻の分離では、時間・周波数不確定性原理超えるものであり、和音の各構成音のかすかなonsetのずれも検出でき、今後の自動演奏研究の基礎データが得られる。打楽器の自動伴奏のアルゴリズムはシンセサイザの高機能として製品に搭載された。Webで公開中の自動作曲システムOrpheusは、50万曲作曲、400万回視聴され、人工知能による創作の代表例とされメディア報道も多数回なされた。