2022 Fiscal Year Research-status Report
A study on automatic orchestration from piano score
| Project/Area Number |
22K00217
|
|---|
| Research Institution | Tokyo Denki University |
|---|
Principal Investigator |
小坂 直敏 東京電機大学, 未来科学部, 教授 (20366389)
|
|---|
| Project Period (FY) |
2022-04-01 – 2025-03-31
|
| Keywords | 自動作曲 / 自動変奏 / 編曲 / オーケストレーション / 深層学習 / LSTM |
|---|
| Outline of Annual Research Achievements |
本テーマはオーケストラ楽曲を制作するため、問1. AV空間上の情動を指定する方法，問2. 個別楽器の特徴的な演奏を生かす条件，問3. 意図する音色を環境音で表現する条件 を満たす自動オーケストレーション技術を個別に検討する研究である。
問1,2は深層学習を用いた手法で、データベース収集も大きな課題となる。また、問3はこれまで別テーマで進めてきたサウンドエフェクトの研究の枠組みで、NMF,CNMFを用いてサウンドコラージュを検討する問題である。
さらに、上記計画とは別に、これらの技術を組み込んだ創作（オーケストラ作品と非オーケストラ作品）とその作品発表を行うことを計画したが、公演を計画していたオーケストラが先方の都合により、実施時期が前倒しになった。すなわち、2024年度に予定していた公演が2022年秋となった。そのため、本来は編曲技術を取り入れた作品の発表となるはずであったが、自作のオーケストラ作品を入力データとして寄与する、との目的に変更せざるをえなかった。具体的には、ピアノ協奏曲を制作発表したが、同作品でのピアニズムの追求が問2の個別楽器の楽器らしさとして、学習用データとなる。
この他、問3の実作例として、公文太一作品、西川日菜乃作品で、前者はRaveを用い、後者はNMFを用いたサウンドコラージュを主要テーマとした音楽作品をMedia Project Vol. 16で発表した。
問1,2の深層学習を用いた自動作曲のアルゴリズムについては、実作創作、および公演の予定が繰り上がったため、検討はあまり進まなかった。
|
| Current Status of Research Progress |
Current Status of Research Progress
3: Progress in research has been slightly delayed.
Reason
本課題は、技術的検討という側面と、音楽作品を制作して発表公演を行う、という２面がある。実施順序としては、技術検討を先にし、この成果を組み込む形で公演を行う、というシリアルな順序が望ましい。それは、技術と制作が非常に密接に、原因と結果という関係で結びつき、全体が明確な一つの有機的な単位となるためである。しかし、意図しない状況により、この順序が狂い、作品制作が先になり、技術検討が後になることがある。特にオーケストラは、その組織の都合があり、必ずしも計画立案時の状況と異なることがある。
今回は、当初進めていたオーケストラ公演の計画が1年半も前倒しになり、技術検討が行われないうちに制作発表を実施することとなった。一方、深層学習による技術検討では、学習用入力データが必要であるため、今回はこの制作をピアニズム、すなわち、編曲時におけるピアノらしさの譜面のデータベースとした。そのため、発表作品：小坂／ピアノ協奏曲第3番は、超絶技巧を用いた演奏の難しいが、音数の多いピアノという楽器の個性を極力出すように心がけた。
また、問3では、実作、技術の両面で推進し、実作ではMedia Project Vol. 16という未来科学部主催の対外コンサートで、２作品を発表し、同時にサウンドコラージュの技術も進め、音響学会に発表した。
|
| Strategy for Future Research Activity |
問3のサウンドコラージュの方法は国際会議CMMR2023に発表予定である。また、この仕事を論文化する方法で検討を進める。
問1,問2の自動編曲技術はこれまでLSTMを用いた手法を類似研究で準備してきた。類似研究は和音推定技術等である。今後は今注目されているtransformerをベースとした方法で再検討する。この変更があるため、問1と問2を並行に進めるよりも、まず問2を、すなわち楽器固有な演奏法に変換する問題を最初に行い、この手法の精度が一定レベルに行くときに問1の情動に依存した編曲に移行する予定である。
|
| Causes of Carryover |
通常、オーケストラ公演には、一人100万円程度必要となるのが一般的であるが、今回は愛知室内オーケストラから招待に準ずる形で参加ができたため、その費用がかからず、周辺の映像、音響記録、スタジオ／ホールレンタル（リハーサルのため）等のみとなった。また、こちらが主の活動となったため、技術の国際会議発表などがなく、旅費の使用が特になかった。以上の理由で、当初予定の支出金額より50万円程度少ない金額となった。
|
| Remarks |
(1)は 日時： 2022.11.2 会場：サントリーホール、指揮：山下一史、ピアノ独奏：小坂紘未 演奏：愛知室内オーケストラ により 企画名 「オーケストラ・プロジェクト for Chamber Orchestra」として公演された。
|
