• 研究課題をさがす
  • 研究者をさがす
  • KAKENの使い方
  1. 課題ページに戻る

2018 年度 実績報告書

PRISM: 選択的情報マスキングを可能とする次世代音声プライバシー保護技術

研究課題

研究課題/領域番号 18H04112
研究機関名古屋工業大学

研究代表者

徳田 恵一  名古屋工業大学, 工学(系)研究科(研究院), 教授 (20217483)

研究分担者 山岸 順一  国立情報学研究所, コンテンツ科学研究系, 准教授 (70709352)
南角 吉彦  名古屋工業大学, 工学(系)研究科(研究院), 准教授 (80397497)
橋本 佳  名古屋工業大学, 工学(系)研究科(研究院), 准教授 (10635907)
研究期間 (年度) 2018-04-01 – 2022-03-31
キーワード音声情報処理 / 音声プライバシー / 音声合成
研究実績の概要

本研究では、音声に含まれるプライバシー情報を分離・変換可能な形で音声をモデ ル化することで、音声モデリングによる統一的な枠組みによって選択的にプライバシー情報を保護可能にする、次世代音声プラ イバシー保護技術 (PRISM: PRIvacy Selecting Masking)を確立することを目的とする。
実空間における音声プライバシー保護技術の確立については、主に個人性と発話内容を対象とし、これらの情報を隠蔽するマスキング信号の生成技術について検討した。利用者の合成音声を用いたマスキング信号の生成に取り組み、主観評価実験により、利用者の声質の合成音声を用いることで、ホワイトノイズやピンクノイズと比較してマスキング効果が高いことが示された。さらに、他人の声質の合成音声と比較しても、利用者の声質の合成音声を用いることで、より高いマスキング効果が得られることが示された。
収録済みの音声データを対象としたプライバシー保護技術(「サイバースペースにおける音声プライバシー保護技術」)については、話者コード、感情コード、フレーズコードなどを入力に用いたディープニューラルネットワークに基づく音響モデルによって感情等の要因を分離・変換可能にする音声モデリング技術の検討を行った。また、プライバシー情報を含む単語を音声の特徴を反映したノイズに変換するVQ-VAEに基づくプライバシー 保護技術の検討を行った。さらに、neural source filterモデルを提案し、neural source filterモデルに基づく話者匿名化を実現した。提案法によって話者照合の等価エラー率は1%から最大34%となり、音声の品質を保ったまま、声の個人認証システムに対する匿名化をある程度行うことが可能になった。これらの結果を今後国際会議にて発表する予定である。

現在までの達成度 (区分)
現在までの達成度 (区分)

1: 当初の計画以上に進展している

理由

ここまでに実空間における音声プライバシー保護技術、サイバースペースにおける音声プライバシー保護技術について多方面から研究を進めており、基礎研究も含め、多くの成果を挙げている。このため、当初の計画以上に進展していると言える。

今後の研究の推進方策

本研究では、収録済みの音声データを対象としたプライバシー保護技術(「サイバースペースにおける音声プライバシー保護技術」)と実空間における音声を対象としたプライバシー保護技術(「実空間における音声プライバシー保護技術」)の2つの技術の構築に取り組む。
サイバースペースにおける音声プライバシー保護技術に関しては、ここまでの知見を利用しながら複数のプライバシー 情報を選択的に分離・変換する音声モデリング技術の検討を行う。また、neural source filterモデルに基づく話者匿名化技術において、話者照合システムの等価エラー率が増大するとともに、音声認識システムの単語誤り率が増加することがわかった。これは、話者匿名化処理に伴い、音声の話者性だけでなく音韻も同時に変わってしまっている可能性を示している。そこで、音韻性と話者性をより分離可能で、独立に制御可能なネットワーク構造について検討する。
実空間における音声プライバシー保護技術については、主に個人性と発話内容を対象とし、これらの情報を隠蔽するマスキング信号の生成技術について検討を進めてきた。今後は、利用者の立場でのプライバシー感の評価やマスキング信号により周囲に迷惑をかけていると感じるかなどについて評価を行い、より高度なマスキング信号生成技術の研究に取り組む。

  • 研究成果

    (26件)

すべて 2019 2018

すべて 雑誌論文 (1件) (うち査読あり 1件、 オープンアクセス 1件) 学会発表 (25件) (うち国際学会 15件)

  • [雑誌論文] Wasserstein GAN and Waveform Loss-based Acoustic Model Training for Multi-speaker Text-to-Speech Synthesis Systems Using a WaveNet Neural Vocoder2018

    • 著者名/発表者名
      Yi Zhao, Shinji Takaki, Hieu-Thi Luong, Junichi Yamagishi, Daisuke Saito, Nobuaki Minematsu
    • 雑誌名

      IEEE Access

      巻: 6 ページ: 60478-60488

    • DOI

      10.1109/ACCESS.2018.2872060

    • 査読あり / オープンアクセス
  • [学会発表] Audiovisual speaker conversion: jointly and simultaneously transforming facial expression and acoustic characteristics2019

    • 著者名/発表者名
      Fuming Fang, Xin Wang, Junichi Yamagishi, Isao Echizen
    • 学会等名
      2019 IEEE International Conference on Acoustics, Speech, and Signal Processing (ICASSP)
    • 国際学会
  • [学会発表] Waveform generation for text-to-speech synthesis using pitch-synchronous multi-scale generative adversarial networks2019

    • 著者名/発表者名
      Lauri Juvela, Bajibabu Bollepalli, Junichi Yamagishi, Paavo Alku
    • 学会等名
      2019 IEEE International Conference on Acoustics, Speech, and Signal Processing (ICASSP)
    • 国際学会
  • [学会発表] Investigation of enhanced Tacotron text-to-speech synthesis systems with self-attention for pitch accent language2019

    • 著者名/発表者名
      Yusuke Yasuda, Xin Wang, Shinji Takaki, Junichi Yamagishi
    • 学会等名
      2019 IEEE International Conference on Acoustics, Speech, and Signal Processing (ICASSP)
    • 国際学会
  • [学会発表] Neural source-filter-based waveform model for statistical parametric speech synthesis2019

    • 著者名/発表者名
      Xin Wang, Shinji Takaki, Junichi Yamagishi
    • 学会等名
      2019 IEEE International Conference on Acoustics, Speech, and Signal Processing (ICASSP)
    • 国際学会
  • [学会発表] STFT spectral loss for training a neural speech waveform model2019

    • 著者名/発表者名
      Shinji Takaki, Toru Nakashika, Xin Wang, Junichi Yamagishi
    • 学会等名
      2019 IEEE International Conference on Acoustics, Speech, and Signal Processing (ICASSP)
    • 国際学会
  • [学会発表] 隠れセミマルコフモデルの構造を用いたDNNに基づく音声合成における計算量削減手法の検討2019

    • 著者名/発表者名
      島田基樹, 橋本佳, 大浦圭一郎, 南角吉彦, 徳田恵一
    • 学会等名
      日本音響学会2019年春季研究発表会
  • [学会発表] 周期・非周期信号から駆動するディープニューラルネットワークに基づく音声ボコーダ2019

    • 著者名/発表者名
      藤本崇人, 橋本佳, 大浦圭一郎, 南角吉彦, 徳田恵一
    • 学会等名
      日本音響学会2019年春季研究発表会
  • [学会発表] 敵対的生成ネットワークを用いた歌声合成の検討2019

    • 著者名/発表者名
      法野行哉, 橋本佳, 大浦圭一郎, 南角吉彦, 徳田恵一
    • 学会等名
      日本音響学会2019年春季研究発表会
  • [学会発表] DNNに基づく感情音声合成のための敵対的学習の検討2019

    • 著者名/発表者名
      角谷健太, 橋本佳, 大浦圭一郎, 南角吉彦, 徳田恵一
    • 学会等名
      日本音響学会2019年春季研究発表会
  • [学会発表] Capsule-Forensics: Using Capsule Networks to Detect Forged Images and Videos2019

    • 著者名/発表者名
      Huy H. Nguyen, Junichi Yamagishi, Isao Echizen
    • 学会等名
      2019 IEEE International Conference on Acoustics, Speech, and Signal Processing (ICASSP)
    • 国際学会
  • [学会発表] Singing voice synthesis based on generative adversarial networks2019

    • 著者名/発表者名
      Yukiya Hono, Kazuhiro Nakamura, Kei Hashimoto, Keiichiro Oura, Yoshihiko Nankaku, and Keiichi Tokuda
    • 学会等名
      2019 IEEE International Conference on Acoustics, Speech, and Signal Processing (ICASSP)
    • 国際学会
  • [学会発表] Singing Voice Conversion Using Posted Waveform Data on Music Social Media2018

    • 著者名/発表者名
      Koki Senda, Yukiya Hono, Kei Sawada, Kei Hashimoto, Keiichiro Oura, Yoshihiko Nankaku, and Keiichi Tokuda
    • 学会等名
      Asia-Pacific Signal and Information Processing Association Annual Summit and Conference (APSIPA ASC 2018)
    • 国際学会
  • [学会発表] Recent Development of the DNN-based Singing Voice Synthesis System -- Sinsy2018

    • 著者名/発表者名
      Yukiya Hono, Shumma Murata, Kazuhiro Nakamura, Kei Hashimoto, Keiichiro Oura, Yoshihiko Nankaku, and Keiichi Tokuda
    • 学会等名
      Asia-Pacific Signal and Information Processing Association Annual Summit and Conference (APSIPA ASC 2018)
    • 国際学会
  • [学会発表] Speech Synthesis Using WaveNet Vocoder Based on Periodic/Aperiodic Decomposition2018

    • 著者名/発表者名
      Takato Fujimoto, Takenori Yoshimura, Kei Hashimoto, Keiichiro Oura, Yoshihiko Nankaku, and Keiichi Tokuda
    • 学会等名
      Asia-Pacific Signal and Information Processing Association Annual Summit and Conference (APSIPA ASC 2018)
    • 国際学会
  • [学会発表] Speaker Adaptation for Speech Synthesis Based on Deep Neural Networks Using Hidden Semi-Markov Model Structures2018

    • 著者名/発表者名
      Kento Nakao, Kei Hashimoto, Keiichiro Oura, Yoshihiko Nankaku, and Keiichi Tokuda
    • 学会等名
      Asia-Pacific Signal and Information Processing Association Annual Summit and Conference (APSIPA ASC 2018)
    • 国際学会
  • [学会発表] Discriminative feature extraction based on sequential variational autoencoder for speaker recognition2018

    • 著者名/発表者名
      Takenori Yoshimura, Natsumi Koike, Kei Hashimoto, Keiichiro Oura, Yoshihiko Nankaku, and Keiichi Tokuda
    • 学会等名
      Asia-Pacific Signal and Information Processing Association Annual Summit and Conference (APSIPA ASC 2018)
    • 国際学会
  • [学会発表] The NITech text-to-speech system for the Blizzard Challenge 20182018

    • 著者名/発表者名
      Kei Sawada, Takenori Yoshimura, Kei Hashimoto, Keiichiro Oura, Yoshihiko Nankaku, and Keiichi Tokuda
    • 学会等名
      Blizzard Challenge 2018 Workshop
    • 国際学会
  • [学会発表] 時間構造を考慮したニューラルネットワークに基づく音声合成における話者適応の検討2018

    • 著者名/発表者名
      中尾健人, 橋本佳, 大浦圭一郎, 南角吉彦, 徳田恵一
    • 学会等名
      音声研究会
  • [学会発表] 話者認識のためのSequential VAEに基づく特徴抽出の検討2018

    • 著者名/発表者名
      吉村建慶, 小池なつみ, 橋本佳, 大浦圭一郎, 南角吉彦, 徳田恵一
    • 学会等名
      日本音響学会2018年秋季研究発表会
  • [学会発表] 公共空間におけるスマートデバイスを用いた音声入力のためのサウンドマスキングに関する検討2018

    • 著者名/発表者名
      次井貴浩, 橋本佳, 大浦圭一郎, 南角吉彦, 徳田恵一
    • 学会等名
      日本音響学会2018年秋季研究発表会
  • [学会発表] 周期・非周期成分の分離に基づくWaveNetボコーダを用いた音声合成2018

    • 著者名/発表者名
      藤本崇人, 吉村建慶, 橋本佳, 大浦圭一郎, 南角吉彦, 徳田恵一
    • 学会等名
      日本音響学会2018年秋季研究発表会
  • [学会発表] Deep Neural Networkに基づく歌声合成システム -- Sinsy2018

    • 著者名/発表者名
      法野行哉, 村田舜馬, 中村和寛, 橋本佳, 大浦圭一郎, 南角吉彦, 徳田恵一
    • 学会等名
      日本音響学会2018年秋季研究発表会
  • [学会発表] Blizzard Challenge 2018のためのNITechテキスト音声合成システム2018

    • 著者名/発表者名
      沢田慶, 吉村建慶, 橋本佳, 大浦圭一郎, 南角吉彦, 徳田恵一
    • 学会等名
      日本音響学会2018年秋季研究発表会
  • [学会発表] Transforming acoustic characteristics to deceive playback spoofing countermeasures of speaker verification systems2018

    • 著者名/発表者名
      Fuming Fang, Junichi Yamagishi, Isao Echizen, Md Sahidullah, Tomi Kinnunen
    • 学会等名
      WIFS2018: IEEE International Workshop on Information Forensics and Security
    • 国際学会
  • [学会発表] Scaling and bias codes for modeling speaker-adaptive DNN-based speech synthesis systems2018

    • 著者名/発表者名
      Hieu-Thi Luong, Junichi Yamagishi
    • 学会等名
      2018 IEEE Workshop on Spoken Language Technology (SLT 2018)
    • 国際学会

URL: 

公開日: 2019-12-27  

サービス概要 検索マニュアル よくある質問 お知らせ 利用規程 科研費による研究の帰属

Powered by NII kakenhi