| Project/Area Number |
21H03462
|
|---|
| Research Category |
Grant-in-Aid for Scientific Research (B)
|
| Allocation Type | Single-year Grants |
|---|
| Section | 一般 |
|---|
| Review Section |
Basic Section 61010:Perceptual information processing-related
|
|---|
| Research Institution | The University of Electro-Communications |
|---|
Principal Investigator |
Sagayama Shigeki 電気通信大学, 大学院情報理工学研究科, 客員研究員 (00303321)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
金子 仁美 東京藝術大学, 音楽学部, 准教授 (00408949)
堀 玄 亜細亜大学, 経営学部, 教授 (60322658)
齋藤 康之 木更津工業高等専門学校, 情報工学科, 准教授 (40331996)
饗庭 絵里子 電気通信大学, 大学院情報理工学研究科, 准教授 (40569761)
酒向 慎司 名古屋工業大学, 工学(系)研究科(研究院), 准教授 (30396791)
|
|---|
| Project Period (FY) |
2021-04-01 – 2024-03-31
|
| Project Status |
Completed (Fiscal Year 2023)
|
| Budget Amount *help |
¥17,420,000 (Direct Cost: ¥13,400,000、Indirect Cost: ¥4,020,000)
Fiscal Year 2023: ¥5,720,000 (Direct Cost: ¥4,400,000、Indirect Cost: ¥1,320,000)
Fiscal Year 2022: ¥5,460,000 (Direct Cost: ¥4,200,000、Indirect Cost: ¥1,260,000)
Fiscal Year 2021: ¥6,240,000 (Direct Cost: ¥4,800,000、Indirect Cost: ¥1,440,000)
|
|---|
| Keywords | 自動作曲 / 隠れマルコフモデル / 言語の韻律特性 / 非和声音ラベル / 自動作詞 / 運指決定 / 自動作曲システムOrpheus / 自動伴奏システムEurydice / 自動伴奏 / 和声設計ツール / 画像からの歌詞自動作成 / 音楽情報処理 / 確率モデル / 和声解析 |
|---|
| Outline of Research at the Start |
我々は、知覚情報処理分野（特に音声認識）で生まれた優れた数理モデルを、音楽処理に適用し数々の知的処理技術を開拓し、多大な成果を挙げて来た。本課題では、自動作曲・自動作詞・自動伴奏を確率モデルにより計算可能な問題として定式化・拡張・高度化し、システム構築と一般ユーザへの提供、有効性評価などを、工学者・音楽家・心理学者との共同体制で遂行する。 具体的には、自動作曲システム Orpheus の version 4 に位置づけられる自動作曲・自動作詞の次段階の原理の探究と実現、自動伴奏システム Eurydice の version 2 の実現と社会応用などを主要目標としている。
|
| Outline of Final Research Achievements |
We developed a technology to automatically compose duets with accompaniment by simultaneously satisfying the requirements of music theory and linguistics based on the user's preferred composition conditions from freely input Japanese lyrics, as an advancement of speech recognition algorithms, and constructed and released the web-based automatic composition system "Orpheus" to the public. Since then, we have conducted research and development of various related technologies. Our main achievements include the development of new principles and algorithms for automatic composition suitable for stress-accent languages such as English, the development of a method for automatically setting appropriate composition conditions from the meaning of given lyrics, and related singing voice analysis. Meanwhile, we also conducted practical experiments in real-world applications as an application of the automatic accompaniment technology based on a probabilistic model that we developed in parallel.
|
| Academic Significance and Societal Importance of the Research Achievements |
音楽愛好者は多く作曲への関心も高いが、歌詞は思いつくが作曲は苦手というケースが多い。歌詞が入力されれば自動的に作曲する技術は生成AIの好適なゴールであるが、最近盛んな深層学習を用いた機械学習アプローチには向いておらず、研究成功例は決して多くない。本研究開発は、音楽理論と言語学に基づいて、違和感を感じない自然な音楽旋律とは何であるかを計算論的に正面から答え、その原理に基づいてwebベースの自動作曲システムOrpheusを構築し一般無料公開したものである。現時点では約77万曲が作曲され、アクセス回数は約3000万回である。TV20回以上などメディア出演や、商業的応用（Pepper）もされている。
|
