2022 Fiscal Year Annual Research Report
| Project/Area Number |
21H03572
|
|---|
| Allocation Type | Single-year Grants |
|---|
| Research Institution | Institute of Physical and Chemical Research |
|---|
Principal Investigator |
浜中 雅俊 国立研究開発法人理化学研究所, 革新知能統合研究センター, チームリーダー (30451686)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
北原 鉄朗 日本大学, 文理学部, 教授 (00454710)
吉井 和佳 京都大学, 情報学研究科, 准教授 (20510001)
平田 圭二 公立はこだて未来大学, システム情報科学部, 教授 (30396121)
東条 敏 北陸先端科学技術大学院大学, 先端科学技術研究科, 教授 (90272989)
|
|---|
| Project Period (FY) |
2021-04-01 – 2025-03-31
|
| Keywords | 音楽理論GTTM / タイムスパン木 / メロディモーフィング / メロディレンダリング / Melody Slot Machine / Melody Slot Machine HD |
|---|
| Outline of Annual Research Achievements |
音楽構造に基づくメロディ生成を一般化の逆過程である簡約の自動化に成功した．これまで我々は音楽理論GTTMに基づきメロディを分析して獲得される音楽構造を用いたメロディ操作を試みてきた．具体的には，二つのメロディの中間にあるメロディを求めるメロディモーフィングを提案・実現してきた．メロディモーフィングは，効率的にメロディのバリエーションを追加可能という特長があるが，その一方で，2つの入力メロディの大局的な構造が一致してなければモーフィングできないという制約があった．制約のないメロディ生成法として，本研究ではメロディ分析の逆過程にあたるメロディレンダリングを実現する．分析では，メロディから構造を求めるが，レンダリングは分析された構造とメロディを切り離し，構造のみからそれに対応するメロディを再生成する．メロディレンダリングを自動化することで，作曲家の生産性を向上させるツールや，初心者が音楽制作を体験するアミューズメントツールの実現を目指す．音楽構造に基づくメロディ生成の一般化を実現するため，音楽理論GTTMのタイムスパン木の分析データの蓄積を行ってきた．具体的には，300曲のタイムスパン木の分析を行った．そして分析データをさらに増加させるとともに分析結果は印刷楽譜に手書きしたものであるため，既に開発済みのWebベースの分析ツールを使用して，json形式のタイムスパン木データとして蓄積した．また，メロディリダクションの1ステップである逐次リダクションを深層学習モデルの一つであるTransformerモデルを用いて学習に成功した．タイムスパン木分析は，この1音リダクションを繰り返し適用することで実現できる．
|
| Current Status of Research Progress |
Current Status of Research Progress
1: Research has progressed more than it was originally planned.
Reason
逐次簡約をTranceformerモデルで学習可能であったことから、その逆過程である逐次レンダリングも学習可能であると考えられる．そして逐次レンダリングを繰り返すことにより，本研究の最終的なゴールであるレンダリングが達成できる．したがって結果的に，当初の計画に比べて極めて早い段階で目標が達成できることが明らかになった．今後はレンダリングを実際に計算機上で実現していく．さらに，レンダリング手法を用いた応用システムを構築していく．たとえば，レンダリングでは希望した位置に音符を付加していくことが可能なので，ユーザが指定した位置に音符を付加していくようなユーザインタフェースを構築することで，音楽知識のない初心者であったも，シンプルなメロディを複雑で音符数の多いメロディに変化させていくことが可能となる．今後，音楽理論GTTM（Generative Theory of Tonal Music）に基づく逐次簡約、逐次レンダリング、モーフィングなどを統合的に扱うことを可能とするユーザインタフェースを構築していく．
|
| Strategy for Future Research Activity |
本研究課題の目標である，音楽理論GTTM（Generative Theory of Tonal Music）に基づくメロディレンダリングは，予想よりも早く実現できる見込みとなったが，今後の推進方策については当初計画通りに行い大きな変更は予定していない．今後はレンダリングを実際に計算機上で実現していく．さらに，レンダリング手法を用いた応用システムを構築していく．たとえば，レンダリングでは希望した位置に音符を付加していくことが可能なので，ユーザが指定した位置に音符を付加していくようなユーザインタフェースを構築することで，音楽知識のない初心者であったも，シンプルなメロディを複雑で音符数の多いメロディに変化させていくことが可能となる．今後，音楽理論GTTM（Generative Theory of Tonal Music）に基づく逐次簡約、逐次レンダリング、モーフィングなどを統合的に扱うことを可能とするユーザインタフェースを構築していく．
|
