2023 Fiscal Year Research-status Report
A study on automatic orchestration from piano score
| Project/Area Number |
22K00217
|
|---|
| Research Institution | Tokyo Denki University |
|---|
Principal Investigator |
小坂 直敏 東京電機大学, 未来科学部, 研究員 (20366389)
|
|---|
| Project Period (FY) |
2022-04-01 – 2025-03-31
|
| Keywords | 自動作曲 / 自動変奏 / 拡大編曲 / オーケストレーション / 深層学習 / オーディオモザイキング |
|---|
| Outline of Annual Research Achievements |
ピアノ譜からの楽器を増やす拡大編曲の問題に関して，現在実質的に4つの問題設定をしている．1)情動等の音楽的意図を与えて，これに満たす編曲，2)編曲用の楽器を指定した場合，その楽器固有の表現に即した編曲，3）旋律，和音等の音楽的構造に基づいた編曲，4)音響信号から，その音色を変更する編曲．
2),3)の解決のためMuseMorphose(Yang+, 2022) という自動編曲の深層学習モデルを拡張した．同モデルは，ピアノ曲を対象にして，Transformerを組み入れたVAE(Variational Auto Encoder)を用いるモデルであるが，楽器はピアノ曲に限定されており，拡大編曲の機能はない．また，メロディと和音などの，音楽的構造に基づいて編曲されたものでなく，音符の1小節内の密度やリズムを統計的な条件として与えて編曲を行っている．
このモデルを拡張し，条件に楽器を加えてさまざまな楽器への編曲を可能にした．一方，メロディと和音の音楽的構造に基づく変奏は，VAEの入力として陽に見えない和音進行を扱うことが難しく5年度内ではうまくいかなかった．以上は譜面をmidi表現したデータを扱った．
音響信号では，一つの環境音（目的音)を別の楽音(要素音)を用いて合成するオーディオモザイキング（サウンドコラージュ）というエフェクト合成を行ってきた，この評価を再現性と楽器性の2つの評価指標で行うが，5年度は楽器性に関する物理評価指標を検討した，楽器性を左右するのは，同じ要素音がどの程度時間的に離れて再合成されるかに依存し，近すぎると分離して聞こえなくなるため，再合成音間の時間差に基づいた尺度をパルス，減衰する正弦波など，基本的信号を2つ配置するときの時間―分離特性を心理実験により調べ，この特性を元に一般信号の場合の分離性能を求める指標を作成した．
|
| Current Status of Research Progress |
Current Status of Research Progress
3: Progress in research has been slightly delayed.
Reason
本課題は技術的検討の側面と，これを踏まえた音楽作品を制作して発表公演を行う側面の２面がある．しかし，昨年記したように，実施の順序が諸事情で逆転し，まずオーケストラ作品を発表してから，このデータを深層学習の学習用データとし技術検討を行う，という順番になった．その自動作曲技術に，ようやくR5年度にとりかかり，MuseMorphoseを元にした拡張版という枠組みで進展をみた．ただし，問題2)のピアノ以外の楽器への展開は達成できたが，問題3)音楽のメロディと和音構造に即した編曲については5年度中に達成できなかった．
その原因として，以下が考えられる．メロディと和音はピアノ譜の場合，人手では分類できるが，和音進行そのものは譜面の表面には現れず，その変奏されたものが実際の楽曲に譜面化される．したがって，陽に現れない和音進行の情報を推定すること自体が問題になってくる．VAEの利用において，学習時にencoder側とdecoder側にそれぞれ和音進行とその変奏，というやや異なるものを入力としても学習ができる，との見通しを持って検討したが，残念ながら，この予測は外れ，変奏が達成できなかった．これが理由で全体の進行が遅れている．
今後は条件に和声進行をテキストで入れる方法などを検討して，音楽構造に基づく変奏の機能を達成する予定である．
問題1)は現在では手つかずだが，問題2),3)を性能よく達成することの優先度を上げる．問題4）は順調に進んでいるが，心理実験データとの照合において，楽器性の低い領域がまだ物理指標との対応が取れていない点，CNMF方式以外では楽器性の物理指標が計算できない点がまだ欠点として残っており，これを次年度に解決したい．
こちらは，研究と並行して，オーディオモザイキングを使った楽曲の発表公文太一，小坂直敏が作品を発表している．
|
| Strategy for Future Research Activity |
問題2)の精緻化．現在は楽器を変更しても編曲できるが，その楽器固有の表現への変奏はできていない．これは学習データを当該楽器固有な表現データに揃えれば達成できると考えており，現段階では難しい問題と捉えていない．
問題3)のメロディと和音進行に則した変奏の技術が昨年度は達成できなかったため，この問題に力を入れる．具体的には，メロディとリズムのない和音進行データの譜面そのものは入手できないため，a)これに近い表現の楽曲を入手する，b)C,F,G,Cなどのテキストによる和声進行を条件としてDecoderに入力する方法 の２つを検討し，音楽構造に基づく変奏について検討する．
その他，問題1)が手つかずであったため，この問題も始める．
また，問題4)のオーディオモザイキングについて，どれだけ要素音の楽器らしさが感じられるか，という楽器性の値が低い合成音から高い合成音まで，物理指標と主観値が一致するように物理指標を設計していく．
以上の研究を進めながら，問題4については，このエフェクトを用いた楽曲を制作し，コンサート等で作品発表を行う予定である．
|
| Causes of Carryover |
初年度（2022度)に制作発表を主に実施したため，技術進展の優先度が下がった．したがって，科研費全体としての進行は作品制作と技術のうちいずれかが進展しているため問題はないが，当初計画の変更は余儀なくされた．すなわち，技術発表の機会は遅れている結果，当初国際会議発表等，旅費の使用を当該年度に計画していたが，これが当該年度での実施ができず，次年度に持ち越されることとなった，次年度はICMC2024(ソウル)などの発表を予定している．
|
