2023 Fiscal Year Final Research Report

Automated Music Composition, Lyrics Generation and Accompaniment from the Speech Recognition Approach

Research Project

PDF

Project/Area Number	21H03462
Research Category	Grant-in-Aid for Scientific Research (B)
Allocation Type	Single-year Grants
Section	一般
Review Section	Basic Section 61010:Perceptual information processing-related
Research Institution	The University of Electro-Communications
Principal Investigator	Sagayama Shigeki 電気通信大学, 大学院情報理工学研究科, 客員研究員 (00303321)
Co-Investigator(Kenkyū-buntansha)	金子仁美東京藝術大学, 音楽学部, 准教授 (00408949) 堀玄亜細亜大学, 経営学部, 教授 (60322658) 齋藤康之木更津工業高等専門学校, 情報工学科, 准教授 (40331996) 饗庭絵里子電気通信大学, 大学院情報理工学研究科, 准教授 (40569761) 酒向慎司名古屋工業大学, 工学(系)研究科(研究院), 准教授 (30396791)
Project Period (FY)	2021-04-01 – 2024-03-31
Keywords	自動作曲 / 隠れマルコフモデル / 言語の韻律特性 / 非和声音ラベル / 自動作詞 / 運指決定 / 自動作曲システムOrpheus / 自動伴奏システムEurydice
Outline of Final Research Achievements	We developed a technology to automatically compose duets with accompaniment by simultaneously satisfying the requirements of music theory and linguistics based on the user's preferred composition conditions from freely input Japanese lyrics, as an advancement of speech recognition algorithms, and constructed and released the web-based automatic composition system "Orpheus" to the public. Since then, we have conducted research and development of various related technologies. Our main achievements include the development of new principles and algorithms for automatic composition suitable for stress-accent languages such as English, the development of a method for automatically setting appropriate composition conditions from the meaning of given lyrics, and related singing voice analysis. Meanwhile, we also conducted practical experiments in real-world applications as an application of the automatic accompaniment technology based on a probabilistic model that we developed in parallel.
Free Research Field	音楽情報処理
Academic Significance and Societal Importance of the Research Achievements	音楽愛好者は多く作曲への関心も高いが、歌詞は思いつくが作曲は苦手というケースが多い。歌詞が入力されれば自動的に作曲する技術は生成AIの好適なゴールであるが、最近盛んな深層学習を用いた機械学習アプローチには向いておらず、研究成功例は決して多くない。本研究開発は、音楽理論と言語学に基づいて、違和感を感じない自然な音楽旋律とは何であるかを計算論的に正面から答え、その原理に基づいてwebベースの自動作曲システムOrpheusを構築し一般無料公開したものである。現時点では約77万曲が作曲され、アクセス回数は約3000万回である。TV20回以上などメディア出演や、商業的応用（Pepper）もされている。