研究課題/領域番号 |
22K00217
|
研究種目 |
基盤研究(C)
|
配分区分 | 基金 |
応募区分 | 一般 |
審査区分 |
小区分01070:芸術実践論関連
|
研究機関 | 東京電機大学 |
研究代表者 |
小坂 直敏 東京電機大学, 未来科学部, 教授 (20366389)
|
研究期間 (年度) |
2022-04-01 – 2025-03-31
|
研究課題ステータス |
交付 (2022年度)
|
配分額 *注記 |
4,160千円 (直接経費: 3,200千円、間接経費: 960千円)
2024年度: 1,560千円 (直接経費: 1,200千円、間接経費: 360千円)
2023年度: 650千円 (直接経費: 500千円、間接経費: 150千円)
2022年度: 1,950千円 (直接経費: 1,500千円、間接経費: 450千円)
|
キーワード | 自動作曲 / 自動変奏 / 編曲 / オーケストレーション / 深層学習 / LSTM / transformer |
研究開始時の研究の概要 |
オーケストラ音楽は,芸術目的や背景音楽などで,迫力のある音楽であり,多くの人が魅せられる.しかし,ピアノ譜等の小規模楽曲の譜面からオーケストレーションを行うことは,創作上多大な負担がかかり,自動化や支援技術が望まれている.これまでの自動編曲技術は,逆方向,すなわち,大規模編成をピアノ譜に編曲するような規模を縮小する方向の研究が多かった. そこで,ピアノ譜が与えられたときに,1)情動を指定する,2)楽器固有の表現引き出す,3)環境音を模倣する,という3つの条件をつけて編曲する問題について,これまでの行ってきた研究の延長として取り組む.特に,1),2)では深層学習を取り組んだ方法を実施する.
|
研究実績の概要 |
本テーマはオーケストラ楽曲を制作するため、問1. AV空間上の情動を指定する方法,問2. 個別楽器の特徴的な演奏を生かす条件,問3. 意図する音色を環境音で表現する条件 を満たす自動オーケストレーション技術を個別に検討する研究である。 問1,2は深層学習を用いた手法で、データベース収集も大きな課題となる。また、問3はこれまで別テーマで進めてきたサウンドエフェクトの研究の枠組みで、NMF,CNMFを用いてサウンドコラージュを検討する問題である。 さらに、上記計画とは別に、これらの技術を組み込んだ創作(オーケストラ作品と非オーケストラ作品)とその作品発表を行うことを計画したが、公演を計画していたオーケストラが先方の都合により、実施時期が前倒しになった。すなわち、2024年度に予定していた公演が2022年秋となった。そのため、本来は編曲技術を取り入れた作品の発表となるはずであったが、自作のオーケストラ作品を入力データとして寄与する、との目的に変更せざるをえなかった。具体的には、ピアノ協奏曲を制作発表したが、同作品でのピアニズムの追求が問2の個別楽器の楽器らしさとして、学習用データとなる。 この他、問3の実作例として、公文太一作品、西川日菜乃作品で、前者はRaveを用い、後者はNMFを用いたサウンドコラージュを主要テーマとした音楽作品をMedia Project Vol. 16で発表した。 問1,2の深層学習を用いた自動作曲のアルゴリズムについては、実作創作、および公演の予定が繰り上がったため、検討はあまり進まなかった。
|
現在までの達成度 (区分) |
現在までの達成度 (区分)
3: やや遅れている
理由
本課題は、技術的検討という側面と、音楽作品を制作して発表公演を行う、という2面がある。実施順序としては、技術検討を先にし、この成果を組み込む形で公演を行う、というシリアルな順序が望ましい。それは、技術と制作が非常に密接に、原因と結果という関係で結びつき、全体が明確な一つの有機的な単位となるためである。しかし、意図しない状況により、この順序が狂い、作品制作が先になり、技術検討が後になることがある。特にオーケストラは、その組織の都合があり、必ずしも計画立案時の状況と異なることがある。 今回は、当初進めていたオーケストラ公演の計画が1年半も前倒しになり、技術検討が行われないうちに制作発表を実施することとなった。一方、深層学習による技術検討では、学習用入力データが必要であるため、今回はこの制作をピアニズム、すなわち、編曲時におけるピアノらしさの譜面のデータベースとした。そのため、発表作品:小坂/ピアノ協奏曲第3番は、超絶技巧を用いた演奏の難しいが、音数の多いピアノという楽器の個性を極力出すように心がけた。 また、問3では、実作、技術の両面で推進し、実作ではMedia Project Vol. 16という未来科学部主催の対外コンサートで、2作品を発表し、同時にサウンドコラージュの技術も進め、音響学会に発表した。
|
今後の研究の推進方策 |
問3のサウンドコラージュの方法は国際会議CMMR2023に発表予定である。また、この仕事を論文化する方法で検討を進める。 問1,問2の自動編曲技術はこれまでLSTMを用いた手法を類似研究で準備してきた。類似研究は和音推定技術等である。今後は今注目されているtransformerをベースとした方法で再検討する。この変更があるため、問1と問2を並行に進めるよりも、まず問2を、すなわち楽器固有な演奏法に変換する問題を最初に行い、この手法の精度が一定レベルに行くときに問1の情動に依存した編曲に移行する予定である。
|