2019 Fiscal Year Annual Research Report
| Project/Area Number |
17H01847
|
|---|
| Research Institution | Institute of Physical and Chemical Research |
|---|
Principal Investigator |
浜中 雅俊 国立研究開発法人理化学研究所, 革新知能統合研究センター, チームリーダー (30451686)
|
|---|
| Project Period (FY) |
2017-04-01 – 2021-03-31
|
| Keywords | 計算論的音楽理論 / 音楽理論GTTM / 深層学習 / 音楽操作 / 蓄積と再利用 / Melody Slot Machine |
|---|
| Outline of Annual Research Achievements |
我々は要約，簡約，編曲など，これまで音楽家が楽譜に対して行ってきた高次の音楽操作を，一般ユーザでも可能にすることを目指し研究を進めている．曲の一 部にユーザが変更を加えたいと考えた場合，2つの問題が生じる．まず，音楽初心者は自分の望むとおりに加工を行うことは難しい．また，むやみに加工を行った 場合，音楽的な構造が失われてしまう．我々はこれまで深層学習を用いた音楽構造の抽出や，抽出した構造を用いてメロディを加工する試みを行ってきた．本年度は，初心者であっても音楽を操作する体験ができるシステム「Melody Slot Machine」について，多くの人に利用してもらうことによりフィードバックを得ながら改良を行った．Melody Slot Machieではユーザは，ホログラフィティスプレイ上に表示された演奏者が未来に弾く演奏をダイヤル操作により切り替えることが可能である．スロットマシンのように並んだダイヤルにあるメロディは音楽理論GTTMに基づくメロディモーフィングによって生成されているため，ダイヤルを回転させてもメロディの装飾的な部分には変化が生じるが，大局的 な構造は一貫しているため曲が破綻することはない．多くの展示の機会に恵まれた結果，IJCAI-19 Most Entertaining Video Award, SIGGRAPH2019 Emerging Technologies 分野 Laval Virtual 審査員賞, 羽倉賞 (最先端 表現技術利用推進協会)，2020 年 インタラクション 2020 インタラク ティブ発表賞 各賞を受賞することができた．これまで使用していた音楽分析ツールがOSのアップデートによりライブラリが使用不能になり修復も困難であったため，新たにWebベースの分析器の構築に着手した．
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
予定通り順調に進捗している。特に，Melody Slot Machineの公開によって多くのフィードバックをいただきシステムの改良が大きく進捗した．一方で，これまで使用していた音楽分析ツールがOSのアップデートによりライブラリが使用不能になり修復も困難となった点は予想外であったが，Webベースの分析器の構築に着手しており研究進捗に関する悪影響を最小限にすることができた．
|
| Strategy for Future Research Activity |
Webベースの分析器を完成させるとともに，メロディの簡約等の音楽操作に関する機能を実装していく．
|
-
[Journal Article] “Melody Slot Machine2019
Author(s)
Masatoshi Hamanaka, Takayuki Nakatsuka, Shigeo Morishima
-
Journal Title
ACM Siggraph2019 Emerging Technologies ET-245
Volume: 1
Pages: ET-245
Peer Reviewed / Open Access
-
-
-
