• Search Research Projects
  • Search Researchers
  • How to Use
  1. Back to previous page

Statistical Parametric Instrumental Sound Synthesis with Controllable Context of Performance

Research Project

Project/Area Number 22KJ2855
Project/Area Number (Other) 22J22158 (2022)
Research Category

Grant-in-Aid for JSPS Fellows

Allocation TypeMulti-year Fund (2023)
Single-year Grants (2022)
Section国内
Review Section Basic Section 61010:Perceptual information processing-related
Research InstitutionMeiji University

Principal Investigator

小口 純矢  明治大学, 先端数理科学研究科, 特別研究員(DC1)

Project Period (FY) 2023-03-08 – 2025-03-31
Project Status Granted (Fiscal Year 2023)
Budget Amount *help
¥2,500,000 (Direct Cost: ¥2,500,000)
Fiscal Year 2024: ¥800,000 (Direct Cost: ¥800,000)
Fiscal Year 2023: ¥800,000 (Direct Cost: ¥800,000)
Fiscal Year 2022: ¥900,000 (Direct Cost: ¥900,000)
Keywords楽器音合成 / 奏法 / 深層学習 / 音質評価 / 音響情報処理 / 音楽情報処理 / 動的時間伸縮 / 音響特徴量 / 音声音響データベース
Outline of Research at the Start

3つの部分問題へ課題を分割する.まず,確率モデルと音楽的な知見に基づき,演奏情報と楽器音の音響信号を対応付ける自動ラベリング手法を開発する.次に,信号処理と機械学習理論双方の利点を活用することで,楽器音信号から音響特徴量を高速・高精度に推定し,それらから再び楽器音波形を高品質に合成する楽器音分析合成系を開発する.そして,得られたラベルと特徴量間のマッピングをDNNによって学習する.これらにより,音楽理論・信号処理に基づき楽器音の演奏情報と音響信号を制御しやすいパラメトリックな中間表現に変換し,統計的学習理論に基づいて楽譜から楽器音への非線形変換をモデル化する形でシステムが実現される.

Outline of Annual Research Achievements

本研究課題は、音楽的文脈を制御可能な器楽演奏信号を計算機上で合成する統計的楽器音合成システムの実現である。代表者はこの課題を3つの部分問題へ分割する。①演奏情報と楽器音の音響信号を対応付ける自動ラベリング手法。②楽器音信号から音響特徴量を推定し、再び楽器音波形を高品質に合成する楽器音分析合成系。③演奏情報と音響特徴量間のマッピングを推論する統計的推論モデルの開発。これらが実現されることにより、楽器音の演奏情報と音響信号をパラメトリックな中間表現として制御しやすい形で扱い、統計的学習理論に基づいて楽譜から楽器音への非線形変換をモデル化する形で当該システムが実現される。

まず①について、前年度において提案した単旋律撥弦楽器のアライメント手法に対しより詳細な評価を行い、その有効性を確認した。本成果は国際会議においてポスター発表を行った。
②について、分析合成系の品質劣化を低減するための群遅延操作において、より効率的なパラメータで表現したパワースペクトル重み付き時間領域平滑化群遅延を提案した。本手法は音声に関する成果であるが楽器音に対しても応用可能である。本成果は国内英文誌のレターとして採録されている。加えて、DNN基本周波数推定のデータ拡張手法を提案し既存手法の精度向上を達成した。本成果は国内研究会でポスター発表を行った。
③について、単旋律撥弦楽器の奏法変化と音声の音韻変化との音響的類似に着目し、奏法を音素のように扱うことで奏法制御可能なDNN楽器音合成の枠組みを世界に先駆けて実現した。本成果は国内研究会においてポスター発表、および海外英文誌にフルペーパーとして採録されている。
その他、得られた成果をより発展的なものにするための検討として、楽器音の音質評価に関する内容で国内研究会や論文誌において発表を行った。

Current Status of Research Progress
Current Status of Research Progress

1: Research has progressed more than it was originally planned.

Reason

まず今年度は、標榜する合成システムの実現に必要な①②③すべてにおいて進展があった。
特に、③における成果は楽譜から演奏音響信号を出力する Score-to-audio の枠組みにおいて、当時最高性能を持つ手法である Deep Performer をベースラインに、奏法制御を可能にさせただけでなく本手法によりさらなる音質向上を達成したという点で画期的な成果と言える。
加えて、本課題をより発展的なものにするための成果として、平均オピニオン評点に替わる検出力に優れた音質評価手法、エレクトリックベースギター演奏の「自然さ」に寄与する音響的要素の調査、脳活動と熟達した管楽器奏者のパフォーマンスとの関連性の分析、器楽演奏の自己評価と第三者評価の差異に関する分析といった多岐にわたる成果を得ることができた。

したがって、研究課題遂行2年目は、当初の計画以上に進展していると言える。

Strategy for Future Research Activity

今年度実現した楽器音合成システムについて奏法制御のみならず演奏表情一般についての制御性を可能にする拡張や、基本周波数といった音響特徴量推定アルゴリズムの精度向上に取り組む予定である。

Report

(2 results)
  • 2023 Research-status Report
  • 2022 Annual Research Report
  • Research Products

    (10 results)

All 2024 2023 2022

All Journal Article (3 results) (of which Peer Reviewed: 3 results,  Open Access: 2 results) Presentation (7 results) (of which Int'l Joint Research: 1 results)

  • [Journal Article] Neural electric bass guitar synthesis framework enabling attack-sustain-representation-based technique control2024

    • Author(s)
      Koguchi Junya、Morise Masanori
    • Journal Title

      EURASIP Journal on Audio, Speech, and Music Processing

      Volume: 2024 Issue: 1 Pages: 1-10

    • DOI

      10.1186/s13636-024-00327-9

    • Related Report
      2023 Research-status Report
    • Peer Reviewed / Open Access
  • [Journal Article] Parameter representation of group delay towards glottal-flow-based phase manipulation for channel vocoder2023

    • Author(s)
      Koguchi Junya、Morise Masanori、Kawahara Hideki
    • Journal Title

      Acoustical Science and Technology

      Volume: 44 Issue: 3 Pages: 189-192

    • DOI

      10.1250/ast.44.189

    • ISSN
      0369-4232, 1346-3969, 1347-5177
    • Year and Date
      2023-05-01
    • Related Report
      2023 Research-status Report
    • Peer Reviewed / Open Access
  • [Journal Article] Brain network flexibility as a predictor of skilled musical performance2023

    • Author(s)
      Uehara Kazumasa、Yasuhara Masaki、Koguchi Junya、Oku Takanori、Shiotani Sachiko、Morise Masanori、Furuya Shinichi
    • Journal Title

      Cerebral Cortex

      Volume: 33 Issue: 20 Pages: 10492-10503

    • DOI

      10.1093/cercor/bhad298

    • Related Report
      2023 Research-status Report
    • Peer Reviewed
  • [Presentation] 統計的基本周波数推定のためのデータ拡張の検討2024

    • Author(s)
      小口純矢、森勢将雅
    • Organizer
      日本音響学会 2023年春季研究発表会
    • Related Report
      2023 Research-status Report
  • [Presentation] 単旋律撥弦楽器の奏法変化と音韻変化の音響的類似に着目した統計的 楽器音合成2023

    • Author(s)
      小口純矢、森勢将雅
    • Organizer
      情報処理学会音楽情報科学研究会
    • Related Report
      2023 Research-status Report
  • [Presentation] エレキベースを対象とした楽器音のリリース エンベロープが自然性に与える影響2023

    • Author(s)
      蟹江世莉奈、小口純矢、堀部貴紀、森勢将雅
    • Organizer
      日本音響学会2023年秋季研究発表会
    • Related Report
      2023 Research-status Report
    • Int'l Joint Research
  • [Presentation] リファレンスを必要としない相対的な音質評価 に向けたMUSHRA法の改良について2023

    • Author(s)
      田鎖佑弥、堀部貴紀、小口純矢、森勢将雅
    • Organizer
      日本音響学会2023年秋季研究発表会
    • Related Report
      2023 Research-status Report
  • [Presentation] Phoneme-inspired playing technique representation and its alignment method for electric bass database2023

    • Author(s)
      J. Koguchi、M. Morise
    • Organizer
      The 16th International Symposium on Computer Music Multidisciplinary Research
    • Related Report
      2023 Research-status Report
  • [Presentation] 朗読音声の発話スタイルを対象とした音響特徴量解析2023

    • Author(s)
      小口 純矢,森勢 将雅
    • Organizer
      日本音響学会2023年春季研究発表会講演論文集
    • Related Report
      2022 Annual Research Report
  • [Presentation] エレキベースを対象とした楽器音のアーティキュレーションアライメント手法の検討2022

    • Author(s)
      小口 純矢,森勢 将雅
    • Organizer
      日本音響学会2022年秋季研究発表会講演論文集
    • Related Report
      2022 Annual Research Report

URL: 

Published: 2022-04-28   Modified: 2024-12-25  

Information User Guide FAQ News Terms of Use Attribution of KAKENHI

Powered by NII kakenhi