PRISM: 選択的情報マスキングを可能とする次世代音声プライバシー保護技術

2021 年度 実績報告書

• 研究課題/領域番号: 18H04112
• 研究機関: 名古屋工業大学
• 研究代表者: 徳田 恵一 名古屋工業大学, 工学(系)研究科(研究院), 教授 (20217483)
• 研究分担者: 山岸 順一 国立情報学研究所, コンテンツ科学研究系, 教授 (70709352) ; 南角 吉彦 名古屋工業大学, 工学(系)研究科(研究院), 准教授 (80397497) ; 橋本 佳 名古屋工業大学, 工学(系)研究科(研究院), 准教授 (10635907)
• 研究期間 (年度): 2018-04-01 – 2022-03-31
• キーワード: 音声情報処理 / 音声プライバシー / 音声合成

研究実績の概要

実空間における音声プライバシー保護技術については、主に個人性と発話内容を対象とし、これらの情報を隠蔽するマスキング信号の生成技術について検討を進めてきたが、本年度は、実際の公共空間あるいはそれと同等の環境において、利用者の立場でのプライバシー感の評価やマスキング信号により周囲に迷惑をかけていると感じるか、第３者がマスキング音をどのように感じるかなどを含んだ評価実験を行い、その結果に基づいてより高度で快適なマスキング信号生成技術としてまとめた。
収録済みの音声データを対象としたプライバシー保護技術(「サイバースペースにおける音声プライバシー保護技術」)については、これまでに、音声を抑揚、音素情報、話者埋め込みベクトルの３つの情報に分解し、話者埋め込みベクトルの平均化により匿名化する手法を提案したが、素情報の抽出には音声認識システムを利用しており、それ故、音素ラベルや発音辞書などの言語依存資源が教師ありデータとして必要であり、システム構築にはコストがかかっていた。そこでこのモジュールを、wav2vec 2.0やHuBERT等の音声波形から事前自己学習したモデルに置き換えることにより、上記問題を解決した話者匿名化手法を提案した。
また、前述の話者匿名化手法と類似ニューラルネットワーク構造で、話者情報ではなく、発話内容を表す潜在変数を置き換えることに発話内容を隠蔽する手法を提案した。本手法により、ビープ音等の特殊音を使わずに、かつ、もとの話者性を保ったまま、発話の一部をマスキングする事が可能になった。

現在までの達成度 (段落)

令和3年度が最終年度であるため、記入しない。

今後の研究の推進方策

令和3年度が最終年度であるため、記入しない。

研究成果

• [国際共同研究] エジンバラ大学(英国)
  • 国名: 英国
  • 外国機関名: エジンバラ大学
• [国際共同研究] Eurecom/INRIA（フランス国立情報学自動制御研究所）/アヴィニョン大学(フランス)
  • 国名: フランス
  • 外国機関名: Eurecom/INRIA（フランス国立情報学自動制御研究所）/アヴィニョン大学
• [雑誌論文] The VoicePrivacy 2020 Challenge: Results and findings (2022)
  • 著者名/発表者名: Natalia Tomashenko, Xin Wang, Emmanuel Vincent, Jose Patino, Brij Mohan Lal Srivastava, Paul-Gauthier No?, Andreas Nautsch, Nicholas Evans, Junichi Yamagishi, Benjamin O’Brien, Ana?s Chanclu, Jean-Fran?ois Bonastre, Massimiliano Todisco, Mohamed Maouche
  • 雑誌名: Computer Speech & Language 巻: 74 ページ: -
  • DOI: 10.1016/j.csl.2022.101362
  • 査読あり / オープンアクセス / 国際共著
• [雑誌論文] Sinsy: A Deep Neural Network-Based Singing Voice Synthesis System (2021)
  • 著者名/発表者名: Yukiya Hono, Kei Hashimoto, Keiichiro Oura, Yoshihiko Nankaku, and Keiichi Tokuda
  • 雑誌名: IEEE/ACM Transactions on Audio, Speech and Language Processing 巻: 29 ページ: 2803-2815
  • DOI: 10.1109/TASLP.2021.3104165
  • 査読あり / オープンアクセス
• [雑誌論文] PeriodNet: A Non-Autoregressive Raw Waveform Generative Model With a Structure Separating Periodic and Aperiodic Components (2021)
  • 著者名/発表者名: Yukiya Hono, Shinji Takaki, Kei Hashimoto, Keiichiro Oura, Yoshihiko Nankaku, and Keiichi Tokuda
  • 雑誌名: IEEE Access 巻: 9 ページ: 137599-137612
  • DOI: 10.1109/ACCESS.2021.3118033
  • 査読あり / オープンアクセス
• [学会発表] 深層学習に基づく音声合成における顔画像情報を用いたクロスモーダル話者適応 (2022)
  • 著者名/発表者名: 平光啓祐, 橋本佳, 南角吉彦, 徳田恵一
  • 学会等名: 日本音響学会2022年春季研究発表会
• [学会発表] 声質・声の高さ・話速を変更可能なニューラルボコーダ構成法の検討 (2022)
  • 著者名/発表者名: 佐々木一匡, 吉村建慶, 高木信二, 橋本佳, 南角吉彦, 徳田恵一
  • 学会等名: 日本音響学会2022年春季研究発表会
• [学会発表] HSMM構造化アテンションに基づく音声合成のためのメモリ削減手法 (2022)
  • 著者名/発表者名: 藤本崇人, 橋本佳, 南角吉彦, 徳田恵一
  • 学会等名: 日本音響学会2022年春季研究発表会
• [学会発表] 非周期性指標を考慮したニューラルボコーダの学習 (2022)
  • 著者名/発表者名: 法野行哉, 高木信二, 橋本佳, 中村和寛, 大浦圭一郎, 南角吉彦, 徳田恵一
  • 学会等名: 日本音響学会2022年春季研究発表会
• [学会発表] Autoregressive variational autoencoder with a hidden semi-Markov model-based structured attention for speech synthesis (2022)
  • 著者名/発表者名: Takato Fujimoto, Kei Hashimoto, Yoshihiko Nankaku, Keiichi Tokuda
  • 学会等名: 2021 IEEE International Conference on Acoustics, Speech, and Signal Processing (ICASSP)
  • 国際学会
• [学会発表] PeriodNet: A non-autoregressive waveform generation model with a structure separating periodic and aperiodic components (2021)
  • 著者名/発表者名: Yukiya Hono, Shinji Takaki, Kei Hashimoto, Keiichiro Oura, Yoshihiko Nankaku, and Keiichi Tokuda
  • 学会等名: 2021 IEEE International Conference on Acoustics, Speech, and Signal Processing (ICASSP)
  • 国際学会
• [学会発表] 因子分析に基づくHSMMを利用した構造化アテンション音声合成 (2021)
  • 著者名/発表者名: 高木信二, 牛田光一, 橋本佳, 南角吉彦, 徳田恵一
  • 学会等名: 日本音響学会2021年秋季研究発表会
• [学会発表] DNN歌声合成のための調子はずれ補正 (2021)
  • 著者名/発表者名: 法野行哉, 橋本佳, 大浦圭一郎,南角吉彦, 徳田恵一
  • 学会等名: 日本音響学会2021年秋季研究発表会
• [学会発表] 発声タイミングのずれを考慮したsequence-to-sequence歌声合成 (2021)
  • 著者名/発表者名: 法野行哉, 加藤大誠, 橋本佳, 大浦圭一郎,南角吉彦, 徳田恵一
  • 学会等名: 日本音響学会2021年秋季研究発表会
• [学会発表] 隠れセミマルコフモデルによる構造化アテンションを用いた自己回帰型VAEに基づくsequence-to-sequence音声合成 (2021)
  • 著者名/発表者名: 藤本崇人, 橋本佳, 南角吉彦, 徳田恵一
  • 学会等名: 日本音響学会2021年秋季研究発表会
• [学会発表] Exploring Disentanglement with Multilingual and Monolingual VQ-VAE (2021)
  • 著者名/発表者名: Jennifer Williams, Jason Fong, Erica Cooper, Junichi Yamagishi
  • 学会等名: Speech Synthesis Workshop 2021 (SSW11)
  • 国際学会
• [学会発表] Revisiting Speech Content Privacy (2021)
  • 著者名/発表者名: Jennifer Williams, Junichi Yamagishi, Paul-Gauthier Noe, Cassia Valentini Botinhao, Jean-Francois Bonastre
  • 学会等名: ISCA Security and Privacy in Speech Communication 2021 (1st SPSC Symposium)
  • 国際学会
• [備考] Voice Privacy Challenge
  • URL: https://www.voiceprivacychallenge.org/