ハーモニーの感性情報のモデル構築に基づく楽曲生成技術の研究

Research Project

Project/Area Number	22K18015
Research Category	Grant-in-Aid for Early-Career Scientists
Allocation Type	Multi-year Fund
Review Section	Basic Section 62040:Entertainment and game informatics-related
Research Institution	Nihon University
Principal Investigator	植村あい子日本大学, 生産工学部, 助教 (00707862)
Project Period (FY)	2022-04-01 – 2025-03-31
Project Status	Granted (Fiscal Year 2022)
Budget Amount *help	¥3,640,000 (Direct Cost: ¥2,800,000、Indirect Cost: ¥840,000) Fiscal Year 2024: ¥650,000 (Direct Cost: ¥500,000、Indirect Cost: ¥150,000) Fiscal Year 2023: ¥650,000 (Direct Cost: ¥500,000、Indirect Cost: ¥150,000) Fiscal Year 2022: ¥2,340,000 (Direct Cost: ¥1,800,000、Indirect Cost: ¥540,000)
Keywords	自動作編曲 / コード進行 / 音楽生成 / 作編曲支援 / 音楽情報処理 / 和声 / 作曲支援
Outline of Research at the Start	本研究は、ハーモニーが含有する感性情報を捉え、これまでの音楽理論とは異なる軸で音楽の魅力に迫る。本申請では、直感的な手掛かりを用いた楽曲生成支援の検討として、ハーモニーが「機能和声」と「印象を左右する感性的な情報」から成り立つと仮定し、聴覚特性と音響分析を用いて曲の雰囲気に変化を付けた音楽信号からハーモニーの特徴を分析する。これにより、新しい観点から音楽理論を補完し、音楽の魅力を科学的に解き明かす。
Outline of Annual Research Achievements	自動作編曲において、初心者が専用のソフトウェアや音楽理論に関する知識がなくても作編曲できるのは重要である。本研究は初心者がハーモニーの響きを手掛かりに楽曲生成ができる簡便なインタフェース作成への基礎検討として、2022年度は和音の協和性に着目しハーモニー生成モデルの改善に取り組んだ。従来の深層学習による生成手法では、リハーモナイズされたデータが少ないこともあり、データから生成された結果が協和性を考慮せずに潜在空間内の周囲の学習データで補完されてしまうという問題があった。そこで2022年度はこれまで扱ってきたVariational Autoencoder (VAE)ベースの手法について協和する和音が生成されるようにモデルの改善を行った。具体的には不協和音度に基づいて理想的な協和度を定義し、和音構成音から計算される2音の共起性が理想的な協和度に近づくように、不協和音ペナルティを単純なネットワーク構造として実装した。本モデルを使用した場合、従来法に比べ三和音や7thコードといった標準的な和音数が増加し、一方で非標準和音や不協和音の数が減少することを確認した。本研究のコード進行生成例は個人ホームページで公開し、専門家によるフィードバックを仰ぐ体制も進めている。将来的にユーザの好みに応じて協和度や不協和度に基づいてコード進行の響きをコントロールできるような拡張を検討し、楽曲生成インタフェースにも取り込んでいく。
Current Status of Research Progress	Current Status of Research Progress 3: Progress in research has been slightly delayed. Reason 半導体不足による機器の納品が遅延したとともに、新型コロナウイルス感染拡大状況を踏まえオンラインでの主観評価準備にも取り組んだがそちらにも時間を要し、専門家のフィードバックを得にくい状況が続いた。
Strategy for Future Research Activity	2022年度の専門家のフィードバックを取り入れて改善を図るとともに、モデルを拡張する方向で進め、響きのコントロールに協和度を用いる拡張を検討する。AI Music CreativityやISMIRなどの査読付き国際会議への投稿とそこでの議論を通じ、ジャーナルへの投稿を検討している。