2018 Fiscal Year Annual Research Report
| Project/Area Number |
17H01847
|
|---|
| Research Institution | Institute of Physical and Chemical Research |
|---|
Principal Investigator |
浜中 雅俊 国立研究開発法人理化学研究所, 革新知能統合研究センター, チームリーダー (30451686)
|
|---|
| Project Period (FY) |
2017-04-01 – 2021-03-31
|
| Keywords | 音楽理論GTTM / メロディモーフィング手法 / メロディ切り替え / 映像切り替え |
|---|
| Outline of Annual Research Achievements |
我々は要約，簡約，編曲など，これまで音楽家が楽譜に対して行ってきた高次の音楽操作を，一般ユーザでも可能にすることを目指し研究を進めている．曲の一部にユーザが変更を加えたいと考えた場合，2つの問題が生じる．まず，音楽初心者は自分の望むとおりに加工を行うことは難しい．また，むやみに加工を行った場合，音楽的な構造が失われてしまう．我々はこれまで深層学習を用いた音楽構造の抽出や，抽出した構造を用いてメロディを加工する試みを行ってきた．
そこで我々は，音楽的な構造を維持しながら楽曲に高次の音楽的操作を適用可能にするための基盤的な枠組みの確立を目的としている．確立する枠組みは，音楽初心者の音楽製作を可能とするだけでなく，音楽製作の現場で生産性を向上させるためのツールとしても用いられることを目指している．
本年度は音楽理論GTTMに基づき音楽をコントロールする体験を提供するシステムメロディースロットマシンを構築した．スロットマシンのダイヤルに並んだメロディは音楽理論GTTMに基づくメロディモーフィングによって生成されているため，ダイヤルを回転させてもメロディの装飾的な部分には変化が生じるが，大局的な構造は一貫している．ダイヤルを回転させるとメロディの変化に応じてホログラフィ（AR: 拡張臨場感）表示された演奏者の動きも変化する．メロディには音符数の多い激しいものから音符数の少ない穏やかなものまで複数あり、体験者は、スロットダイヤルを使って各時系列におけるバリエーションを設定していくことで、自分の望むメロディを探求することができる．
|
| Current Status of Research Progress |
Current Status of Research Progress
1: Research has progressed more than it was originally planned.
Reason
メロディ操作をデモンストレーションできるシステムを構築したことで，我々が目標としている未来の音楽生成の姿をより明確にとらえることが可能となった．
|
| Strategy for Future Research Activity |
メロディモーフィングに加えて様々な音楽操作を音楽理論GTTMに基づき実現していく．
|
