2022 Fiscal Year Annual Research Report
Statistical Parametric Instrumental Sound Synthesis with Controllable Context of Performance
| Project/Area Number |
22J22158
|
|---|
| Allocation Type | Single-year Grants |
|---|
| Research Institution | Meiji University |
|---|
Principal Investigator |
小口 純矢 明治大学, 先端数理科学研究科, 特別研究員(DC1)
|
|---|
| Project Period (FY) |
2022-04-22 – 2025-03-31
|
| Keywords | 楽器音合成 / 動的時間伸縮 / 音響特徴量 / 音響情報処理 / 音楽情報処理 / 音声音響データベース |
|---|
| Outline of Annual Research Achievements |
今年度は，まず撥弦楽器における奏法と演奏信号の時間的な対応付けを高精度に推定する手法の開発に取り組んだ．演奏をパラメトリックに制御できる楽器音合成システムへの入力には，音高・音量・音価だけでなく奏法の情報を何らかのベクトル表現へと変換し，演奏音響信号と対応付ける必要がある．そこで，音声における音素表現と撥弦楽器音（特にエレキベース）における奏法表現の類似に着目した．アタックとサスティン区間をそれぞれ子音と母音のように捉えることで，音声信号に対応する音素のように演奏信号に対して奏法ラベルを設計した．また奏法ラベルとその演奏楽器音に対する時間的な対応（アライメント）を得る手法について，これまで音声合成において用いられてきた種々のアルゴリズムを適用した．その過程で，新たにエレキベースの音響信号とその楽譜情報を含む楽器音データベースを構築した．このデータベースを利用してアライメントアルゴリズムの比較実験を行った結果，音色変換と動的時間伸縮を組み合わせた手法が最も高精度であった．この内容は日本音響学会2022年秋季研究発表会において口頭発表を行った．
さらに，発話スタイルの異なる音声データに対してその違いがどのような音響的性質に基づくのかを調査するための音響解析を行った．基本周波数や非周期性指標といったいくつかの音響特徴量において聴感上の印象に対応する差異が認められる結果となった．これらは楽器音の奏法や演奏表情の変化に対しても応用が期待される．この内容は日本音響学会2023年春季研究発表会において口頭発表を行った．
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
当初の研究計画通り，演奏コンテキストの設計をおよびそのアライメント推定する高精度なアルゴリズムを実現している．テキスト音声合成や歌声合成技術を楽器音合成に利用する試みは過去にも存在するが，本研究成果は，音声の音韻変化と楽器音の奏法変化との類似に着目し，奏法表現に応用したという点で画期的な成果である．
また，楽器音ではない音声分析に関する成果については，異なる演奏スタイルの楽器音データベースが入手困難であったことに加えて，歴史的にも研究事例の多い音声分析について研究し，それを楽音合成に活かすという本研究課題の着想に由来する．撥弦楽器の楽器音を分析する信号処理理論は，音声を分析する理論を流用できることも多いため，音声分析の知見は楽器音にも寄与するものである．
これらの研究成果は国内研究会2件において口頭発表を行っている．
上記の考慮すると，本研究計画の進捗状況はおおむね順調に進展しているといえる．
|
| Strategy for Future Research Activity |
次年度はまず楽器音合成システムのプロトタイプ構築に取り組む．
今年度に設計した奏法ラベルおよび音響信号へのアライメントアルゴリズムを利用して得られた演奏表現と音響信号のペアを用いて，統計的推論モデルを訓練し，奏法ラベルを入力すると合成楽器音が出力されるシステムの実現を目指す．
加えて，音高制御の安定性を高めるため，基本周波数推定アルゴリズムの改良にも取り組む．深層学習と信号処理を統合したアプローチによって，楽器音の多様な音高パターンを正確に推定できる手法の実現を目指す．
|
