研究課題/領域番号 |
21H03572
|
研究種目 |
基盤研究(B)
|
配分区分 | 補助金 |
応募区分 | 一般 |
審査区分 |
小区分62040:エンタテインメントおよびゲーム情報学関連
|
研究機関 | 国立研究開発法人理化学研究所 |
研究代表者 |
浜中 雅俊 国立研究開発法人理化学研究所, 革新知能統合研究センター, チームリーダー (30451686)
|
研究分担者 |
北原 鉄朗 日本大学, 文理学部, 教授 (00454710)
吉井 和佳 京都大学, 情報学研究科, 准教授 (20510001)
平田 圭二 公立はこだて未来大学, システム情報科学部, 教授 (30396121)
東条 敏 亜細亜大学, 経営学部, 教授 (90272989)
|
研究期間 (年度) |
2021-04-01 – 2025-03-31
|
研究課題ステータス |
交付 (2023年度)
|
配分額 *注記 |
12,220千円 (直接経費: 9,400千円、間接経費: 2,820千円)
2023年度: 4,030千円 (直接経費: 3,100千円、間接経費: 930千円)
2022年度: 2,860千円 (直接経費: 2,200千円、間接経費: 660千円)
2021年度: 2,600千円 (直接経費: 2,000千円、間接経費: 600千円)
|
キーワード | メロディレンダリング / メロディモーフィング / 音楽構造分析 / 音楽理論GTTM / メロディスロットマシン / タイムスパン木 / Melody Slot Machine / Melody Slot Machine HD / GTTM / Apple AppStore / 計算論的音楽理論 |
研究開始時の研究の概要 |
メロディレンダリングの自動化を達成する.構築するシステムではまず,ユーザが作成中のメロディで変更 したい部分を選択する.すると,タイムスパン木分析器が付近のメロディを分析しタイムスパン木が抽出され る.次に,メロディレンダリングによって,タイムスパン木の構造を維持しながら差し替えできるメロディ候補が複数作成される.そして,メロディ候補が提示されユーザが選択する.これを繰り返していくことでメロディに変更を加え,メロディ全体がユーザの意図に近づいていく.レンダリングシステムは,作曲家の生産性を向上するツールとなることが期待される.
|
研究実績の概要 |
音楽構造に基づくメロディ生成を一般化の逆過程である簡約の自動化に成功した.これまで我々は音楽理論GTTMに基づきメロディを分析して獲得される音楽構造を用いたメロディ操作を試みてきた.具体的には,二つのメロディの中間にあるメロディを求めるメロディモーフィングを提案・実現してきた.メロディモーフィングは,効率的にメロディのバリエーションを追加可能という特長があるが,その一方で,2つの入力メロディの大局的な構造が一致してなければモーフィングできないという制約があった.制約のないメロディ生成法として,本研究ではメロディ分析の逆過程にあたるメロディレンダリングを実現する.分析では,メロディから構造を求めるが,レンダリングは分析された構造とメロディを切り離し,構造のみからそれに対応するメロディを再生成する.メロディレンダリングを自動化することで,作曲家の生産性を向上させるツールや,初心者が音楽制作を体験するアミューズメントツールの実現を目指す.音楽構造に基づくメロディ生成の一般化を実現するため,音楽理論GTTMのタイムスパン木の分析データの蓄積を行ってきた.具体的には,300曲のタイムスパン木の分析を行った.そして分析データをさらに増加させるとともに分析結果は印刷楽譜に手書きしたものであるため,既に開発済みのWebベースの分析ツールを使用して,json形式のタイムスパン木データとして蓄積した.また,メロディリダクションの1ステップである逐次リダクションを深層学習モデルの一つであるTransformerモデルを用いて学習に成功した.タイムスパン木分析は,この1音リダクションを繰り返し適用することで実現できる.
|
現在までの達成度 (区分) |
現在までの達成度 (区分)
1: 当初の計画以上に進展している
理由
逐次簡約をTranceformerモデルで学習可能であったことから、その逆過程である逐次レンダリングも学習可能であると考えられる.そして逐次レンダリングを繰り返すことにより,本研究の最終的なゴールであるレンダリングが達成できる.したがって結果的に,当初の計画に比べて極めて早い段階で目標が達成できることが明らかになった.今後はレンダリングを実際に計算機上で実現していく.さらに,レンダリング手法を用いた応用システムを構築していく.たとえば,レンダリングでは希望した位置に音符を付加していくことが可能なので,ユーザが指定した位置に音符を付加していくようなユーザインタフェースを構築することで,音楽知識のない初心者であったも,シンプルなメロディを複雑で音符数の多いメロディに変化させていくことが可能となる.今後,音楽理論GTTM(Generative Theory of Tonal Music)に基づく逐次簡約、逐次レンダリング、モーフィングなどを統合的に扱うことを可能とするユーザインタフェースを構築していく.
|
今後の研究の推進方策 |
本研究課題の目標である,音楽理論GTTM(Generative Theory of Tonal Music)に基づくメロディレンダリングは,予想よりも早く実現できる見込みとなったが,今後の推進方策については当初計画通りに行い大きな変更は予定していない.今後はレンダリングを実際に計算機上で実現していく.さらに,レンダリング手法を用いた応用システムを構築していく.たとえば,レンダリングでは希望した位置に音符を付加していくことが可能なので,ユーザが指定した位置に音符を付加していくようなユーザインタフェースを構築することで,音楽知識のない初心者であったも,シンプルなメロディを複雑で音符数の多いメロディに変化させていくことが可能となる.今後,音楽理論GTTM(Generative Theory of Tonal Music)に基づく逐次簡約、逐次レンダリング、モーフィングなどを統合的に扱うことを可能とするユーザインタフェースを構築していく.
|