Research on the accumulation and reuse of music operations

2020 Fiscal Year Final Research Report

• Project/Area Number: 17H01847
• Research Category: Grant-in-Aid for Scientific Research (B)
• Allocation Type: Single-year Grants
• Section: 一般
• Research Field: Entertainment and game informatics 1
• Research Institution: Institute of Physical and Chemical Research
• Principal Investigator: Hamanaka Masatoshi 国立研究開発法人理化学研究所, 革新知能統合研究センター, チームリーダー (30451686)
• Project Period (FY): 2017-04-01 – 2021-03-31
• Keywords: 計算論的音楽理論 / 音楽構造分析 / 音楽理論GTTM / メロディ―モーフィング / Melody Slot Machine / 深層学習 / タイムスパン木 / メロディスロットマシン

Outline of Final Research Achievements

We aimed to enable musical novice to perform high-level music operations such as summarization, simplification, and arrangement that musicians have performed on score. Two problems arise when a user wants to make changes to a part of a song. First, it is difficult for musical novice to process as they wish. Second, if the processing is done carelessly, the musical structure will be broken. We have realized the analysis of the music structure using deep learning and the processing of the melody using the extracted structure. As a result, we were able to build and publish a system "Melody Slot Machine" that allows even musical novice to experience operating music, and a music structure analysis tool.

Free Research Field

音楽情報処理

Academic Significance and Societal Importance of the Research Achievements

ゲームや映画では，シーンごとに少しずつ異なっているが，全体的には似通っているメロディが多く必要となる場合がある．これまでは，職業作曲家がメロディのバリエーションを次々と制作する作業を行ってきたが，我々はそれらの作業の一部をAIで置き換えることにより効率化を行い, 作曲家がより芸術性の高い創作に集中できるようにすることを目指している．本研究では，そのプロトタイプとなるシステムを構築し有用性の検証を行った．