• 研究課題をさがす
  • 研究者をさがす
  • KAKENの使い方
  1. 前のページに戻る

深層学習に基づいた新しい信号処理技術の確立と歌声および楽器音生成への応用

研究課題

研究課題/領域番号 18K11163
研究種目

基盤研究(C)

配分区分基金
応募区分一般
審査区分 小区分60010:情報学基礎論関連
研究機関名古屋工業大学

研究代表者

大浦 圭一郎  名古屋工業大学, 工学(系)研究科(研究院), 研究員 (20588579)

研究期間 (年度) 2018-04-01 – 2021-03-31
研究課題ステータス 完了 (2020年度)
配分額 *注記
4,420千円 (直接経費: 3,400千円、間接経費: 1,020千円)
2020年度: 1,040千円 (直接経費: 800千円、間接経費: 240千円)
2019年度: 1,560千円 (直接経費: 1,200千円、間接経費: 360千円)
2018年度: 1,820千円 (直接経費: 1,400千円、間接経費: 420千円)
キーワード信号処理 / ディープラーニング / 歌声合成 / 音声合成 / 楽器音生成 / 楽器音合成
研究成果の概要

歌声および楽器音を対象として,学習対象データの取捨選択方法の検討や,音声波形自体のモデリング手法の検討,楽譜から波形への直接変換が可能なEnd-to-End構造の検討など,従来のデジタル信号処理の枠を超えた音響モデリングの研究を進め,その一部を学術論文としてまとめ,投稿・発表することができた.その中でも,深層学習に基づいて周期・非周期信号からより自然な音声波形を生成する構成は,画像変換の分野で高い性能を示しているCycleGANのサイクル構造を応用するもので,日本音響学会の粟屋潔学術奨励賞や情報処理学会のマイクロソフト情報学研究賞を受賞するなどの成果をあげている.

研究成果の学術的意義や社会的意義

現状のほとんどの音声関連技術には,従来型のデジタル信号処理理論を基礎としており,従来型のデジタル信号処理理論は音声関連の研究分野では最も根本的な考え方として広く普及しているが,このような変換・処理で取り扱える枠組みの中に制限されていたため,モデル構造に関する過度の制約による性能限界があった.本研究は,このような状況にブレークスルーをもたらすため,近年急速に技術革新が進んでいる深層学習に基づいた音声波形の直接モデル化手法を新たに開拓しようとするものである.

報告書

(4件)
  • 2020 実績報告書   研究成果報告書 ( PDF )
  • 2019 実施状況報告書
  • 2018 実施状況報告書
  • 研究成果

    (21件)

すべて 2021 2020 2019 2018

すべて 学会発表 (21件) (うち国際学会 9件、 招待講演 2件)

  • [学会発表] 周期・非周期成分の分離に基づくニューラルボコーダによる音声波形のモデル化の検討2021

    • 著者名/発表者名
      法野行哉, 高木信二, 橋本佳, 大浦圭一郎, 南角吉彦, 徳田恵一
    • 学会等名
      日本音響学会2021年春季研究発表会, pp. 861-864, 日本, 2021年3月.
    • 関連する報告書
      2020 実績報告書
  • [学会発表] DNNに基づく音声ボコーダにおける周期・非周期成分のモデル化の検討2020

    • 著者名/発表者名
      法野行哉, 高木信二, 橋本佳, 大浦圭一郎, 南角吉彦, 徳田恵一
    • 学会等名
      日本音響学会2020年秋季研究発表会, pp. 759-760, 日本, 2020年9月.
    • 関連する報告書
      2020 実績報告書
  • [学会発表] 楽譜時間情報を用いたアテンション機構に基づく歌声合成の検討2019

    • 著者名/発表者名
      村田舜馬, 藤本崇人, 法野行哉, 高木信二, 橋本佳, 大浦圭一郎, 南角吉彦, 徳田恵一
    • 学会等名
      日本音響学会2019年秋季研究発表会
    • 関連する報告書
      2019 実施状況報告書
  • [学会発表] Singing voice synthesis based on generative adversarial networks2019

    • 著者名/発表者名
      Yukiya Hono, Kei Hashimoto, Keiichiro Oura, Yoshihiko Nankaku, Keiichi Tokuda
    • 学会等名
      2019 IEEE International Conference on Acoustics, Speech, and Signal Processing (ICASSP)
    • 関連する報告書
      2019 実施状況報告書
    • 国際学会
  • [学会発表] Speaker-dependent WaveNet-based delay-free ADPCM speech coding2019

    • 著者名/発表者名
      Takenori Yoshimura, Kei Hashimoto, Keiichiro Oura, Yoshihiko Nankaku, Keiichi Tokuda
    • 学会等名
      2019 IEEE International Conference on Acoustics, Speech, and Signal Processing (ICASSP)
    • 関連する報告書
      2019 実施状況報告書
    • 国際学会
  • [学会発表] 周期・非周期信号を用いたDNNに基づくリアルタイム音声ボコーダ2019

    • 著者名/発表者名
      大浦圭一郎, 中村和寛, 橋本佳, 南角吉彦, 徳田恵一
    • 学会等名
      情報処理学会研究報告
    • 関連する報告書
      2019 実施状況報告書
  • [学会発表] 周期・非周期信号を用いた敵対的生成ネットワークに基づくリアルタイム音声ボコーダ2019

    • 著者名/発表者名
      大浦圭一郎, 高木信二, 中村和寛, 橋本佳, 南角吉彦, 徳田恵一
    • 学会等名
      日本音響学会2019年秋季研究発表会
    • 関連する報告書
      2019 実施状況報告書
  • [学会発表] Deep neural network based real-time speech vocoder with periodic and aperiodic inputs2019

    • 著者名/発表者名
      Keiichiro Oura, Kazuhiro Nakamura, Kei Hashimoto, Yoshihiko Nankaku, Keiichi Tokuda
    • 学会等名
      10th ISCA Speech Synthesis Workshop (SSW10)
    • 関連する報告書
      2019 実施状況報告書
    • 国際学会
  • [学会発表] 歌声合成におけるニューラルボコーダの比較検討2019

    • 著者名/発表者名
      和田蒼汰, 法野行哉, 高木信二, 橋本佳, 大浦圭一郎, 南角吉彦, 徳田恵一
    • 学会等名
      音声研究会
    • 関連する報告書
      2019 実施状況報告書
  • [学会発表] 統計的歌声合成技術とその実用化2019

    • 著者名/発表者名
      大浦圭一郎
    • 学会等名
      日本AI音楽学会
    • 関連する報告書
      2019 実施状況報告書
    • 招待講演
  • [学会発表] 統計的パラメトリック音声合成技術とその実用化2019

    • 著者名/発表者名
      大浦圭一郎
    • 学会等名
      情報処理学会音学シンポジウム
    • 関連する報告書
      2019 実施状況報告書
    • 招待講演
  • [学会発表] Speaker-dependent WaveNet-based delay-free adpcm speech coding2019

    • 著者名/発表者名
      Takenori Yoshimura, Kei Hashimoto, Keiichiro Oura, Yoshihiko Nankaku, and Keiichi Tokuda
    • 学会等名
      ICASSP 2019
    • 関連する報告書
      2018 実施状況報告書
    • 国際学会
  • [学会発表] Singing voice synthesis based on generative adversarial networks2019

    • 著者名/発表者名
      Yukiya Hono, Kei Hashimoto, Keiichiro Oura, Yoshihiko Nankaku, and Keiichi Tokuda
    • 学会等名
      ICASSP 2019
    • 関連する報告書
      2018 実施状況報告書
    • 国際学会
  • [学会発表] 周期・非周期信号から駆動するディープニューラルネットに基づく音声ボコーダ2019

    • 著者名/発表者名
      大浦圭一郎,中村和寛,橋本佳,南角吉彦,徳田恵一
    • 学会等名
      日本音響学会春季研究発表会
    • 関連する報告書
      2018 実施状況報告書
  • [学会発表] 敵対的ネットワークを用いた歌声合成の検討2019

    • 著者名/発表者名
      法野行哉,橋本佳,大浦圭一郎,南角吉彦,徳田恵一
    • 学会等名
      日本音響学会春季研究発表会
    • 関連する報告書
      2018 実施状況報告書
  • [学会発表] Singing voice conversion using posted waveform data on music social media2018

    • 著者名/発表者名
      Koki Senda, Yukiya Hono, Kei Sawada, Kei Hashimoto, Keiichiro Oura, Yoshihiko Nankaku, and Keiichi Tokuda
    • 学会等名
      APSIPA 2018
    • 関連する報告書
      2018 実施状況報告書
    • 国際学会
  • [学会発表] Recent development of the DNN-based singing voice synthesis system - sinsy2018

    • 著者名/発表者名
      Yukiya Hono, Shumma Murata, Kazuhiro Nakamura, Kei Hashimoto, Keiichiro Oura, Yoshihiko Nankaku, and Keiichi Tokuda
    • 学会等名
      APSIPA 2018
    • 関連する報告書
      2018 実施状況報告書
    • 国際学会
  • [学会発表] Speech synthesis using WaveNet vocoder based on periodic/aperiodic decomposition2018

    • 著者名/発表者名
      Takahto Fujimoto, Takenori Yoshimura, Kei Hashimoto, Keiichiro Oura, Yoshihiko Nankaku, and Keiichi Tokuda
    • 学会等名
      APSIPA 2018
    • 関連する報告書
      2018 実施状況報告書
    • 国際学会
  • [学会発表] WaveNet-based zero-delay lossless speech coding2018

    • 著者名/発表者名
      Takenori Yoshimura, Kei Hashimoto, Keiichiro Oura, Yoshihiko Nankaku, and Keiichi Tokuda
    • 学会等名
      SLT 2018
    • 関連する報告書
      2018 実施状況報告書
    • 国際学会
  • [学会発表] Deep neural networkに基づく歌声合成システム - Sinsy2018

    • 著者名/発表者名
      法野行哉,村田舜馬,中村和寛,橋本佳,大浦圭一郎,南角吉彦,徳田恵一
    • 学会等名
      日本音響学会秋季研究発表会
    • 関連する報告書
      2018 実施状況報告書
  • [学会発表] 周期・非周期成分の分離に基づくWaveNetボコーダを用いた音声合成2018

    • 著者名/発表者名
      藤本崇人,吉村建慶,橋本佳,大浦圭一郎,南角吉彦,徳田恵一
    • 学会等名
      日本音響学会秋季研究発表会
    • 関連する報告書
      2018 実施状況報告書

URL: 

公開日: 2018-04-23   更新日: 2022-01-27  

サービス概要 検索マニュアル よくある質問 お知らせ 利用規程 科研費による研究の帰属

Powered by NII kakenhi