Automated Music Composition, Lyrics Generation and Accompaniment from the Speech Recognition Approach
| Project/Area Number |
21H03462
|
|---|
| Research Category |
Grant-in-Aid for Scientific Research (B)
|
| Allocation Type | Single-year Grants |
|---|
| Section | 一般 |
|---|
| Review Section |
Basic Section 61010:Perceptual information processing-related
|
|---|
| Research Institution | The University of Electro-Communications |
|---|
Principal Investigator |
嵯峨山 茂樹 電気通信大学, 大学院情報理工学研究科, 客員研究員 (00303321)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
金子 仁美 東京藝術大学, 音楽学部, 准教授 (00408949)
堀 玄 亜細亜大学, 経営学部, 教授 (60322658)
齋藤 康之 木更津工業高等専門学校, 情報工学科, 准教授 (40331996)
饗庭 絵里子 電気通信大学, 大学院情報理工学研究科, 准教授 (40569761)
酒向 慎司 名古屋工業大学, 工学(系)研究科(研究院), 准教授 (30396791)
|
|---|
| Project Period (FY) |
2021-04-01 – 2024-03-31
|
| Project Status |
Granted (Fiscal Year 2023)
|
| Budget Amount *help |
¥17,420,000 (Direct Cost: ¥13,400,000、Indirect Cost: ¥4,020,000)
Fiscal Year 2023: ¥5,720,000 (Direct Cost: ¥4,400,000、Indirect Cost: ¥1,320,000)
Fiscal Year 2022: ¥5,460,000 (Direct Cost: ¥4,200,000、Indirect Cost: ¥1,260,000)
Fiscal Year 2021: ¥6,240,000 (Direct Cost: ¥4,800,000、Indirect Cost: ¥1,440,000)
|
|---|
| Keywords | 音楽情報処理 / 自動作曲 / 自動伴奏 / 自動作詞 / 確率モデル / 非和声音ラベル / 和声設計ツール / 画像からの歌詞自動作成 / 運指決定 / 自動作曲システムOrpheus / 自動伴奏システムEurydice / 和声解析 |
|---|
| Outline of Research at the Start |
我々は、知覚情報処理分野（特に音声認識）で生まれた優れた数理モデルを、音楽処理に適用し数々の知的処理技術を開拓し、多大な成果を挙げて来た。本課題では、自動作曲・自動作詞・自動伴奏を確率モデルにより計算可能な問題として定式化・拡張・高度化し、システム構築と一般ユーザへの提供、有効性評価などを、工学者・音楽家・心理学者との共同体制で遂行する。 具体的には、自動作曲システム Orpheus の version 4 に位置づけられる自動作曲・自動作詞の次段階の原理の探究と実現、自動伴奏システム Eurydice の version 2 の実現と社会応用などを主要目標としている。
|
| Outline of Annual Research Achievements |
主に自動作詞作曲と自動伴奏の２方向の課題に答えるべく研究を遂行した。
嵯峨山は、科研費によって雇用中の研究支援員（高橋）と共同で(1) ユーザが和声進行を登録できる機能の実現を目指して、転回形を許したコードネーム入力から和音展開し、ユーザが選択した四声に対して和声進行の禁則が守られているかどうかを評価して表示する機能を実現した。(2)人手による機能和声分析結果をwebページで対話的に入力できる機能を実現した。(3)歌声音声合成機能の改善を検討するために、現行方式とは異なる音声合成の導入を試みたが、実行速度に難があることが判明した。
金子は、(1)楽曲中の非和声音を分類し、専門家によるラベル付けデータセットを作成する計画を立て、表記法について策定し、webページで入力する目的のツールの仕様を検討し、専門家による解析作業見積もり・立案を行った。
堀は、(1)画像・動画からのキーワード抽出および自動作詞・作曲の検討・実装（電通大学生との共同研究を含む）を行った。(2) 弦楽器の運指決定の3階層モデルについて学会発表を行なった(CMMR2021)。
齋藤は、(1)自動伴奏システムEurydice について、SMF 内で指定されたテンポ変化を反映する機能を実装した。その他、特に連弾の場合の自動伴奏の具体的問題点と解決法について検討した。
饗庭は、(1)自動伴奏システムEurydice への導入を目指し、人間がピアノデュオ演奏において最適であると感じる発音タイミングの評価を行った。
|
| Current Status of Research Progress |
Current Status of Research Progress
1: Research has progressed more than it was originally planned.
Reason
新型コロナ蔓延によって研究遂行が遅れ、そのために予算の繰り越しを行い、現報告時点では遅れを取り戻し、おおむね順調に進展している。すなわち、時期的には遅れがあったが、予算使用と研究遂行内容の関係では、遅れは生じず、むしろ１年分の予算をより長期間の研究に用いたために、その期間の研究内容は当初計画以上に進展した。
|
| Strategy for Future Research Activity |
主に自動作詞作曲と自動伴奏の２方向の課題に答えるべく研究を遂行する。本報告は予算繰り越しに伴って１年遅れの報告なので、以下は現時点で実際にはすでに実行が進んでいる。
嵯峨山は、科研費によって雇用中の研究支援員（高橋）と共同で(1)ユーザが和声進行を登録できる機能の実現と、(2)人手による機能和声分析結果をwebページで対話的に入力できる機能の改良を継続するとともに、(3)歌声音声合成のための音声分析合成系に関してラグ窓の自動調整に基づく理論と実験評価を行う。(4)既存データを用いた歌唱音声合成機能を実現する。
金子は、(1)非和声音の分類、表記についての策定に基づいて、(2)webページで入力する目的で、機能和声分析を実施、修正する。
堀は、(1)自動作詞・作曲機能の向上とともに、(2)歌詞内容から自動作曲条件を自動設定する技術の確立を目指して、SBERTを用いた機械学習を用いる手法を検討し、実験評価する。
齋藤は、(1)自動伴奏システムEurydice について、SMF 内で指定されたテンポ変化を反映する機能を実装し、その効果を評価する。(2) カラー画像の対象物からのメロディ生成，背景からの伴奏生成による楽曲生成方法について検討し、国際会議で発表する。
饗庭は、(1)自動伴奏システムEurydice への導入を目指し、人間がピアノデュオ演奏において最適であると感じる発音タイミングの評価を継続し、特に楽曲の文脈による違いについて検証を行い、卒論としてまとめる。
|
Report
(1 results)
Research Products
(6 results)
