Mutual Prediction and Adaptation Model of Communication by Integrating Micro- and Macro-structures and Its Application to Music
| Project/Area Number |
19K12288
|
|---|
| Research Category |
Grant-in-Aid for Scientific Research (C)
|
| Allocation Type | Multi-year Fund |
|---|
| Section | 一般 |
|---|
| Review Section |
Basic Section 62040:Entertainment and game informatics-related
|
|---|
| Research Institution | Nihon University |
|---|
Principal Investigator |
|
|---|
| Project Period (FY) |
2019-04-01 – 2023-03-31
|
| Project Status |
Completed (Fiscal Year 2022)
|
| Budget Amount *help |
¥4,290,000 (Direct Cost: ¥3,300,000、Indirect Cost: ¥990,000)
Fiscal Year 2021: ¥1,170,000 (Direct Cost: ¥900,000、Indirect Cost: ¥270,000)
Fiscal Year 2020: ¥1,040,000 (Direct Cost: ¥800,000、Indirect Cost: ¥240,000)
Fiscal Year 2019: ¥2,080,000 (Direct Cost: ¥1,600,000、Indirect Cost: ¥480,000)
|
|---|
| Keywords | 即興演奏 / 旋律生成 / 音楽情報処理 / 旋律概形 / 演奏生成 / 演奏予測 / 作曲支援 / 相互予測 / 相互適応 / 音楽 |
|---|
| Outline of Research at the Start |
本研究の目標は,コミュニケーションにおける相互予測・相互適応を工学的に実現することで,これらの現象を科学的に解明することである.相互予測(互いに相手の行動・反応を予測しあうこと)と相互適応(やりとりの継続により互いの予測が漸進的に精度向上すること)はコミュニケーションの肝であるが,工学的なモデル化は容易ではない.本申請では,楽譜という記号表現と音楽理論という規則体系が確立されている「音楽」を題材に,相互理解と相互適応の工学モデルの構築に取り組む.
|
| Outline of Final Research Achievements |
Towards a jam session system that enables a human player and a computer to interact with each other through improvisation, we developed technologies that predict human improvisation and generate computational improvisation as follows:
① We developed a method for generating improvisational melodies using a convolutional neural network (CNN). Because a CNN extracts features using hierarchical convolution layers, we achieved to generate Blues-style improvisational melodies by designing convolution layers based on the hierarchical metric structure. ② We applied this method to the JamSketch system, which allows users to play improvisation using melodic outlines.
|
| Academic Significance and Societal Importance of the Research Achievements |
音楽の生成は,近年,機械学習を中心としたコンピュータ技術が創造性（クリエイティビティ）を獲得できるかを探求する「計算論的創造性」の研究対象の1つとして注目を浴びている.本研究では,即興演奏の旋律をほぼリアルタイムで生成する技術を実現しており,当該分野に一定の貢献をもたらしたと言える.また,この技術を応用した「JamSketch」は,即興演奏ができない非専門家が簡単に即興演奏もどきを楽しむことができ,これまでにない体験をもたらすと期待できる.
|
Report
(5 results)
Research Products
(53 results)
-
-
-
-
-
-
-
[Journal Article] Generating Walking Bass Lines with HMM2021
Author(s)
Ayumi Shiga, Tetsuro Kitahara
-
Journal Title
Perception, Representations, Image, Sound, Music. CMMR 2019. Lecture Notes in Computer Science
Volume: 12631
Pages: 248-256
DOI
ISBN
9783030702090, 9783030702106
Related Report
Peer Reviewed
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
