2021 Fiscal Year Annual Research Report
| Project/Area Number |
21H03572
|
|---|
| Allocation Type | Single-year Grants |
|---|
| Research Institution | Institute of Physical and Chemical Research |
|---|
Principal Investigator |
浜中 雅俊 国立研究開発法人理化学研究所, 革新知能統合研究センター, チームリーダー (30451686)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
東条 敏 北陸先端科学技術大学院大学, 先端科学技術研究科, 教授 (90272989)
平田 圭二 公立はこだて未来大学, システム情報科学部, 教授 (30396121)
吉井 和佳 京都大学, 情報学研究科, 准教授 (20510001)
北原 鉄朗 日本大学, 文理学部, 教授 (00454710)
|
|---|
| Project Period (FY) |
2021-04-01 – 2025-03-31
|
| Keywords | GTTM / タイムスパン木 / メロディモーフィング / メロディレンダリング / Melody Slot Machine / Melody Slot Machine HD / Apple AppStore |
|---|
| Outline of Annual Research Achievements |
音楽構造に基づくメロディ生成の一般化を実現するため，Webベースの分析ツールを開発し，音楽理論GTTMのタイムスパン木の分析データの蓄積を行ってきた．具体的には，新たに100曲のタイムスパン木の分析を行った．また，深層学習を用いてタイムスパン分析を半自動化するツールの開発を行った．半自動化された分析ツールを用いたインタラクティブな作業を行うことで従来に比べ効率的にタイムスパン木を蓄積していくことが可能となった．タイムスパン木の正解データの蓄積を増加させることで，メロディ分析の逆過程にあたるメロディレンダリングの実現を目指す． また，蓄積されたデータを用いてツールの深層ネットワークを再度学習させることにより，半自動化ツールの分析精度を向上させる．構造に基づくメロディ生成を利用したアプリケーションとしてMelody Slot Machine on iPhoneおよびMelody Slot Machine HDを構築し，Apple AppStoreより公開した．いずれのアプリも30回起動するとユーザビリティ等に関するアンケートが案内される．アンケート情報を蓄積してアプリの改善を進める予定である．Melody Slot Machine on iPhoneとMelody Slot Machine HDは，メロディモーフィングを用いたアプリである．メロディモーフィングは，効率的にメロディのバリエーションを追加可能という特長があるが，その一方で，2つの入力メロディの大局的な構造が一致してなければモーフィングできないという制約があった．制約のないメロディ生成法として，本研究ではメロディ分析の逆過程にあたるメロディレンダリングの実現を目指す．
|
| Current Status of Research Progress |
Current Status of Research Progress
1: Research has progressed more than it was originally planned.
Reason
当初の予定通りタイムスパン木の分析データの蓄積が順調に進んでいる．それに加え，深層学習を用いて分析を半自動化するツールが新たに構築され，今後タイムスパン分析作業の効率化が期待できるようになった．タイムスパン木の正解データの蓄積を増加させることで，メロディ分析の逆過程にあたるメロディレンダリングの実現を目指す．これまで我々は，Melody Slot Machineという音楽構造を分析することの意義を示すための研究展示システムを構築し，学会や国際会議，展示会等などで紹介してきた．対面での展示が困難な状況が続いているため，Melody Slot Machineをアプリ化してMelody Slot Machine on iPhone，Melody Slot Machine HDとして公開した．いずれのアプリも30回起動するとユーザビリティ等に関するアンケートが案内される．アンケート情報を蓄積してアプリの改善を進める予定である．メロディモーフィングを用いたアプリである．メロディモーフィングは，効率的にメロディのバリエーションを追加可能という特長があるが，その一方で，2つの入力メロディの大局的な構造が一致してなければモーフィングできないという制約があった．制約のないメロディ生成法として，本研究ではメロディ分析の逆過程にあたるメロディレンダリングの実現を目指す．
|
| Strategy for Future Research Activity |
タイムスパン木の分析作業を半自動化するツールが構築できたので，今後ツールを用いて効率的にタイムスパン木データの蓄積を進める．蓄積されたデータを用いてツールの深層ネットワークを再度学習させることにより，半自動化ツールの分析精度を向上させる．さらに多くの分析データを蓄積させて，メロディ分析の逆過程にあたるメロディレンダリングの実現を目指す．また，蓄積されたタイムスパン木のデータを公開することで，音楽構造分析の研究が普及していくことを目指す．Melody Slot Machine on iPhoneやMelody Slot Machine HDは，事前にメロディモーフィングにより作ったメロディをレコーディングして作った素材を用いている．メロディモーフィングやメロディレンダリングをリアルタイムで実現するためにはGPGPUを搭載したマシンが必要であり，スタンドアロンのスマートフォンやタブレットでは実現が難しい．そこで，メロディのモーフィングやレンダリングを行うGPGPU搭載サーバを構築し，スマートフォンやタブレットからアクセス可能にすることで高度な処理を行うアプリの構築を目指す．
|
