| Project/Area Number |
22K00217
|
|---|
| Research Category |
Grant-in-Aid for Scientific Research (C)
|
| Allocation Type | Multi-year Fund |
|---|
| Section | 一般 |
|---|
| Review Section |
Basic Section 01070:Theory of art practice-related
|
|---|
| Research Institution | Tokyo Denki University |
|---|
Principal Investigator |
小坂 直敏 東京電機大学, 未来科学部, 研究員 (20366389)
|
|---|
| Project Period (FY) |
2022-04-01 – 2025-03-31
|
| Project Status |
Granted (Fiscal Year 2023)
|
| Budget Amount *help |
¥4,160,000 (Direct Cost: ¥3,200,000、Indirect Cost: ¥960,000)
Fiscal Year 2024: ¥1,560,000 (Direct Cost: ¥1,200,000、Indirect Cost: ¥360,000)
Fiscal Year 2023: ¥650,000 (Direct Cost: ¥500,000、Indirect Cost: ¥150,000)
Fiscal Year 2022: ¥1,950,000 (Direct Cost: ¥1,500,000、Indirect Cost: ¥450,000)
|
|---|
| Keywords | 自動作曲 / 自動変奏 / 拡大編曲 / オーケストレーション / 深層学習 / オーディオモザイキング / 編曲 / LSTM / transformer |
|---|
| Outline of Research at the Start |
オーケストラ音楽は，芸術目的や背景音楽などで，迫力のある音楽であり，多くの人が魅せられる．しかし，ピアノ譜等の小規模楽曲の譜面からオーケストレーションを行うことは，創作上多大な負担がかかり，自動化や支援技術が望まれている．これまでの自動編曲技術は，逆方向，すなわち，大規模編成をピアノ譜に編曲するような規模を縮小する方向の研究が多かった．
そこで，ピアノ譜が与えられたときに，1)情動を指定する，2)楽器固有の表現引き出す，3)環境音を模倣する，という３つの条件をつけて編曲する問題について，これまでの行ってきた研究の延長として取り組む．特に，１),2)では深層学習を取り組んだ方法を実施する．
|
| Outline of Annual Research Achievements |
ピアノ譜からの楽器を増やす拡大編曲の問題に関して，現在実質的に4つの問題設定をしている．1)情動等の音楽的意図を与えて，これに満たす編曲，2)編曲用の楽器を指定した場合，その楽器固有の表現に即した編曲，3）旋律，和音等の音楽的構造に基づいた編曲，4)音響信号から，その音色を変更する編曲．
2),3)の解決のためMuseMorphose(Yang+, 2022) という自動編曲の深層学習モデルを拡張した．同モデルは，ピアノ曲を対象にして，Transformerを組み入れたVAE(Variational Auto Encoder)を用いるモデルであるが，楽器はピアノ曲に限定されており，拡大編曲の機能はない．また，メロディと和音などの，音楽的構造に基づいて編曲されたものでなく，音符の1小節内の密度やリズムを統計的な条件として与えて編曲を行っている．
このモデルを拡張し，条件に楽器を加えてさまざまな楽器への編曲を可能にした．一方，メロディと和音の音楽的構造に基づく変奏は，VAEの入力として陽に見えない和音進行を扱うことが難しく5年度内ではうまくいかなかった．以上は譜面をmidi表現したデータを扱った．
音響信号では，一つの環境音（目的音)を別の楽音(要素音)を用いて合成するオーディオモザイキング（サウンドコラージュ）というエフェクト合成を行ってきた，この評価を再現性と楽器性の2つの評価指標で行うが，5年度は楽器性に関する物理評価指標を検討した，楽器性を左右するのは，同じ要素音がどの程度時間的に離れて再合成されるかに依存し，近すぎると分離して聞こえなくなるため，再合成音間の時間差に基づいた尺度をパルス，減衰する正弦波など，基本的信号を2つ配置するときの時間―分離特性を心理実験により調べ，この特性を元に一般信号の場合の分離性能を求める指標を作成した．
|
| Current Status of Research Progress |
Current Status of Research Progress
3: Progress in research has been slightly delayed.
Reason
本課題は技術的検討の側面と，これを踏まえた音楽作品を制作して発表公演を行う側面の２面がある．しかし，昨年記したように，実施の順序が諸事情で逆転し，まずオーケストラ作品を発表してから，このデータを深層学習の学習用データとし技術検討を行う，という順番になった．その自動作曲技術に，ようやくR5年度にとりかかり，MuseMorphoseを元にした拡張版という枠組みで進展をみた．ただし，問題2)のピアノ以外の楽器への展開は達成できたが，問題3)音楽のメロディと和音構造に即した編曲については5年度中に達成できなかった．
その原因として，以下が考えられる．メロディと和音はピアノ譜の場合，人手では分類できるが，和音進行そのものは譜面の表面には現れず，その変奏されたものが実際の楽曲に譜面化される．したがって，陽に現れない和音進行の情報を推定すること自体が問題になってくる．VAEの利用において，学習時にencoder側とdecoder側にそれぞれ和音進行とその変奏，というやや異なるものを入力としても学習ができる，との見通しを持って検討したが，残念ながら，この予測は外れ，変奏が達成できなかった．これが理由で全体の進行が遅れている．
今後は条件に和声進行をテキストで入れる方法などを検討して，音楽構造に基づく変奏の機能を達成する予定である．
問題1)は現在では手つかずだが，問題2),3)を性能よく達成することの優先度を上げる．問題4）は順調に進んでいるが，心理実験データとの照合において，楽器性の低い領域がまだ物理指標との対応が取れていない点，CNMF方式以外では楽器性の物理指標が計算できない点がまだ欠点として残っており，これを次年度に解決したい．
こちらは，研究と並行して，オーディオモザイキングを使った楽曲の発表公文太一，小坂直敏が作品を発表している．
|
| Strategy for Future Research Activity |
問題2)の精緻化．現在は楽器を変更しても編曲できるが，その楽器固有の表現への変奏はできていない．これは学習データを当該楽器固有な表現データに揃えれば達成できると考えており，現段階では難しい問題と捉えていない．
問題3)のメロディと和音進行に則した変奏の技術が昨年度は達成できなかったため，この問題に力を入れる．具体的には，メロディとリズムのない和音進行データの譜面そのものは入手できないため，a)これに近い表現の楽曲を入手する，b)C,F,G,Cなどのテキストによる和声進行を条件としてDecoderに入力する方法 の２つを検討し，音楽構造に基づく変奏について検討する．
その他，問題1)が手つかずであったため，この問題も始める．
また，問題4)のオーディオモザイキングについて，どれだけ要素音の楽器らしさが感じられるか，という楽器性の値が低い合成音から高い合成音まで，物理指標と主観値が一致するように物理指標を設計していく．
以上の研究を進めながら，問題4については，このエフェクトを用いた楽曲を制作し，コンサート等で作品発表を行う予定である．
|
