2022 Fiscal Year Annual Research Report
Automated Music Composition, Lyrics Generation and Accompaniment from the Speech Recognition Approach
| Project/Area Number |
21H03462
|
|---|
| Research Institution | The University of Electro-Communications |
|---|
Principal Investigator |
嵯峨山 茂樹 電気通信大学, 大学院情報理工学研究科, 客員研究員 (00303321)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
金子 仁美 東京藝術大学, 音楽学部, 准教授 (00408949)
堀 玄 亜細亜大学, 経営学部, 教授 (60322658)
齋藤 康之 木更津工業高等専門学校, 情報工学科, 准教授 (40331996)
饗庭 絵里子 電気通信大学, 大学院情報理工学研究科, 准教授 (40569761)
|
|---|
| Project Period (FY) |
2021-04-01 – 2024-03-31
|
| Keywords | 自動作曲 / 自動伴奏 / 非和声音ラベル / 和声設計ツール / 画像からの歌詞自動作成 / 運指決定 / 自動作曲システムOrpheus / 自動伴奏システムEurydice |
|---|
| Outline of Annual Research Achievements |
自動作曲と自動伴奏の技術確立のために、代表者と分担者で以下のように主たる担務を設定して実行し、毎月の定例オンライン会合を開催し、多くの研究成果を得た。新型コロナウィルス蔓延への対処として、予算の一部を翌年度に繰越し、それに伴って一部の研究計画実施の時期もずらした。嵯峨山: (1) ピッチアクセント言語およびストレスアクセント言語の韻律に基づく旋律の自動作曲の理論とアルゴリズムを構築した。 (2) 人手による機能和声分析結果と非和声音分析をwebページで対話的に入力できる機能を実現した。 (3) 歌声音声合成のための音声分析合成系に関して波形窓長とラグ窓長を自動調整する理論と、周期性を定量化する理論を検討した。 (4) 既存データを用いた歌唱音声合成機能を実現した。(5) 歌詞から自動作曲条件を自動設定する手法を開発した。
金子: (1) 非和声音の分類、表記についての策定を行った。(2) webページで入力する目的で、機能和声分析を実施、修正した。
堀: (1) 研究協力： 博報堂生活総合研究所「ヒンドソング」のための自動作詞エンジン開発(BERTのMasked Language Modelを利用)(2) 画像・動画からのキーワード抽出および自動作詞・作曲の検討・実装（ププさんとの共同研究を含む）(3) ギター演奏者の左手のフォームを順列組み合せの手法で網羅的に列挙する方法の提案(TENOR2023にアクセプト）
齋藤: (1) 自動伴奏システムEurydice について，UDP通信による汎用入力機能を実装した。
(2) 音楽音響信号の入力を見据え，ピッチ推定方法について検討した。
饗庭: (1)自動伴奏システムEurydice への導入を目指し，人間と協奏可能なシステムへの改良を目的とした演奏実験を行った。特にテンポ変化について検証を行い，卒論としてまとめた。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
新型コロナウィルス蔓延により当該年度予算の執行は、物理的には当該年度内には進まなかったが、予算繰越制度の適用を受けて、当該年度予算の執行も、それに伴う研究成果も得られたので、実効的には「おおむね順調に進展」した。
|
| Strategy for Future Research Activity |
本報告は、2022年度予算の一部を繰り越したので、2023年度末に書かれている。そのため、すでに本課題は終了しており、今後の推進方策の報告は不要と考えるが、この研究の今後の方向を述べる。今までは主に日本語のようなピッチアクセント言語の歌詞に対して言語学的要求と音楽理論からの要求の双方を同時に満たすべく尤度最大の経路探索によって旋律の自動作曲を行ってきたが、今後はこれに加えて英語などのストレスアクセント言語の言語的要求も満たすような言語ユニバーサルな自動作曲アルゴルズムを開発し検証する。
|
| Remarks |
上記以外にも、NHK総合TV「不可避研究中」最終回「さよなら道」の作曲・放送 (2023年3月22日)への本課題成果に基づく外部協を行った。
|
