| Project/Area Number |
22KJ2855
|
|---|
| Project/Area Number (Other) |
22J22158 (2022)
|
|---|
| Research Category |
Grant-in-Aid for JSPS Fellows
|
| Allocation Type | Multi-year Fund (2023)
Single-year Grants (2022) |
|---|
| Section | 国内 |
|---|
| Review Section |
Basic Section 61010:Perceptual information processing-related
|
|---|
| Research Institution | Meiji University |
|---|
Principal Investigator |
小口 純矢 明治大学, 先端数理科学研究科, 特別研究員(DC1)
|
|---|
| Project Period (FY) |
2023-03-08 – 2025-03-31
|
| Project Status |
Granted (Fiscal Year 2023)
|
| Budget Amount *help |
¥2,500,000 (Direct Cost: ¥2,500,000)
Fiscal Year 2024: ¥800,000 (Direct Cost: ¥800,000)
Fiscal Year 2023: ¥800,000 (Direct Cost: ¥800,000)
Fiscal Year 2022: ¥900,000 (Direct Cost: ¥900,000)
|
|---|
| Keywords | 楽器音合成 / 奏法 / 深層学習 / 音質評価 / 音響情報処理 / 音楽情報処理 / 動的時間伸縮 / 音響特徴量 / 音声音響データベース |
|---|
| Outline of Research at the Start |
3つの部分問題へ課題を分割する．まず，確率モデルと音楽的な知見に基づき，演奏情報と楽器音の音響信号を対応付ける自動ラベリング手法を開発する．次に，信号処理と機械学習理論双方の利点を活用することで，楽器音信号から音響特徴量を高速・高精度に推定し，それらから再び楽器音波形を高品質に合成する楽器音分析合成系を開発する．そして，得られたラベルと特徴量間のマッピングをDNNによって学習する．これらにより，音楽理論・信号処理に基づき楽器音の演奏情報と音響信号を制御しやすいパラメトリックな中間表現に変換し，統計的学習理論に基づいて楽譜から楽器音への非線形変換をモデル化する形でシステムが実現される．
|
| Outline of Annual Research Achievements |
本研究課題は、音楽的文脈を制御可能な器楽演奏信号を計算機上で合成する統計的楽器音合成システムの実現である。代表者はこの課題を3つの部分問題へ分割する。①演奏情報と楽器音の音響信号を対応付ける自動ラベリング手法。②楽器音信号から音響特徴量を推定し、再び楽器音波形を高品質に合成する楽器音分析合成系。③演奏情報と音響特徴量間のマッピングを推論する統計的推論モデルの開発。これらが実現されることにより、楽器音の演奏情報と音響信号をパラメトリックな中間表現として制御しやすい形で扱い、統計的学習理論に基づいて楽譜から楽器音への非線形変換をモデル化する形で当該システムが実現される。
まず①について、前年度において提案した単旋律撥弦楽器のアライメント手法に対しより詳細な評価を行い、その有効性を確認した。本成果は国際会議においてポスター発表を行った。
②について、分析合成系の品質劣化を低減するための群遅延操作において、より効率的なパラメータで表現したパワースペクトル重み付き時間領域平滑化群遅延を提案した。本手法は音声に関する成果であるが楽器音に対しても応用可能である。本成果は国内英文誌のレターとして採録されている。加えて、DNN基本周波数推定のデータ拡張手法を提案し既存手法の精度向上を達成した。本成果は国内研究会でポスター発表を行った。
③について、単旋律撥弦楽器の奏法変化と音声の音韻変化との音響的類似に着目し、奏法を音素のように扱うことで奏法制御可能なDNN楽器音合成の枠組みを世界に先駆けて実現した。本成果は国内研究会においてポスター発表、および海外英文誌にフルペーパーとして採録されている。
その他、得られた成果をより発展的なものにするための検討として、楽器音の音質評価に関する内容で国内研究会や論文誌において発表を行った。
|
| Current Status of Research Progress |
Current Status of Research Progress
1: Research has progressed more than it was originally planned.
Reason
まず今年度は、標榜する合成システムの実現に必要な①②③すべてにおいて進展があった。
特に、③における成果は楽譜から演奏音響信号を出力する Score-to-audio の枠組みにおいて、当時最高性能を持つ手法である Deep Performer をベースラインに、奏法制御を可能にさせただけでなく本手法によりさらなる音質向上を達成したという点で画期的な成果と言える。
加えて、本課題をより発展的なものにするための成果として、平均オピニオン評点に替わる検出力に優れた音質評価手法、エレクトリックベースギター演奏の「自然さ」に寄与する音響的要素の調査、脳活動と熟達した管楽器奏者のパフォーマンスとの関連性の分析、器楽演奏の自己評価と第三者評価の差異に関する分析といった多岐にわたる成果を得ることができた。
したがって、研究課題遂行2年目は、当初の計画以上に進展していると言える。
|
| Strategy for Future Research Activity |
今年度実現した楽器音合成システムについて奏法制御のみならず演奏表情一般についての制御性を可能にする拡張や、基本周波数といった音響特徴量推定アルゴリズムの精度向上に取り組む予定である。
|
