2023 Fiscal Year Research-status Report
演奏コンテキストを制御可能な統計的パラメトリック楽器音合成の研究
| Project/Area Number |
22KJ2855
|
|---|
| Allocation Type | Multi-year Fund |
|---|
| Research Institution | Meiji University |
|---|
Principal Investigator |
小口 純矢 明治大学, 先端数理科学研究科, 特別研究員(DC1)
|
|---|
| Project Period (FY) |
2023-03-08 – 2025-03-31
|
| Keywords | 楽器音合成 / 奏法 / 深層学習 / 音質評価 / 音響情報処理 / 音楽情報処理 |
|---|
| Outline of Annual Research Achievements |
本研究課題は、音楽的文脈を制御可能な器楽演奏信号を計算機上で合成する統計的楽器音合成システムの実現である。代表者はこの課題を3つの部分問題へ分割する。①演奏情報と楽器音の音響信号を対応付ける自動ラベリング手法。②楽器音信号から音響特徴量を推定し、再び楽器音波形を高品質に合成する楽器音分析合成系。③演奏情報と音響特徴量間のマッピングを推論する統計的推論モデルの開発。これらが実現されることにより、楽器音の演奏情報と音響信号をパラメトリックな中間表現として制御しやすい形で扱い、統計的学習理論に基づいて楽譜から楽器音への非線形変換をモデル化する形で当該システムが実現される。
まず①について、前年度において提案した単旋律撥弦楽器のアライメント手法に対しより詳細な評価を行い、その有効性を確認した。本成果は国際会議においてポスター発表を行った。
②について、分析合成系の品質劣化を低減するための群遅延操作において、より効率的なパラメータで表現したパワースペクトル重み付き時間領域平滑化群遅延を提案した。本手法は音声に関する成果であるが楽器音に対しても応用可能である。本成果は国内英文誌のレターとして採録されている。加えて、DNN基本周波数推定のデータ拡張手法を提案し既存手法の精度向上を達成した。本成果は国内研究会でポスター発表を行った。
③について、単旋律撥弦楽器の奏法変化と音声の音韻変化との音響的類似に着目し、奏法を音素のように扱うことで奏法制御可能なDNN楽器音合成の枠組みを世界に先駆けて実現した。本成果は国内研究会においてポスター発表、および海外英文誌にフルペーパーとして採録されている。
その他、得られた成果をより発展的なものにするための検討として、楽器音の音質評価に関する内容で国内研究会や論文誌において発表を行った。
|
| Current Status of Research Progress |
Current Status of Research Progress
1: Research has progressed more than it was originally planned.
Reason
まず今年度は、標榜する合成システムの実現に必要な①②③すべてにおいて進展があった。
特に、③における成果は楽譜から演奏音響信号を出力する Score-to-audio の枠組みにおいて、当時最高性能を持つ手法である Deep Performer をベースラインに、奏法制御を可能にさせただけでなく本手法によりさらなる音質向上を達成したという点で画期的な成果と言える。
加えて、本課題をより発展的なものにするための成果として、平均オピニオン評点に替わる検出力に優れた音質評価手法、エレクトリックベースギター演奏の「自然さ」に寄与する音響的要素の調査、脳活動と熟達した管楽器奏者のパフォーマンスとの関連性の分析、器楽演奏の自己評価と第三者評価の差異に関する分析といった多岐にわたる成果を得ることができた。
したがって、研究課題遂行2年目は、当初の計画以上に進展していると言える。
|
| Strategy for Future Research Activity |
今年度実現した楽器音合成システムについて奏法制御のみならず演奏表情一般についての制御性を可能にする拡張や、基本周波数といった音響特徴量推定アルゴリズムの精度向上に取り組む予定である。
|
| Causes of Carryover |
課題遂行のために要求される計算機の性能が当初の見積もりよりも低く済んだことや、国際会議よりも国内学会や論文誌での対外発表が主体で旅費が少額であったことに起因する。
さらなる品質向上のためのデータベース構築に必要な収録機材および音源、聴取による主観評価実験のための再生機器および人件費、学会発表のための旅費などに充てる予定である。
|
