• 研究課題をさがす
  • 研究者をさがす
  • KAKENの使い方
  1. 前のページに戻る

Speech privacy protection by high-quality, invertible, and extendable speech anonymization and de-anonymization

研究課題

研究課題/領域番号 21K17775
研究種目

若手研究

配分区分基金
審査区分 小区分61010:知覚情報処理関連
研究機関国立情報学研究所

研究代表者

Wang Xin  国立情報学研究所, コンテンツ科学研究系, 特任准教授 (60843141)

研究期間 (年度) 2021-04-01 – 2024-03-31
研究課題ステータス 完了 (2023年度)
配分額 *注記
4,550千円 (直接経費: 3,500千円、間接経費: 1,050千円)
2023年度: 1,560千円 (直接経費: 1,200千円、間接経費: 360千円)
2022年度: 1,560千円 (直接経費: 1,200千円、間接経費: 360千円)
2021年度: 1,430千円 (直接経費: 1,100千円、間接経費: 330千円)
キーワードプライバシー / 音声匿名化 / 話者識別 / 音声情報処理 / 深層学習 / speech privacy / speaker anonymization / speech waveform modeling / neural network / deep learning
研究開始時の研究の概要

Human speech contains not only verbal contents but also private information about the speaker such as the speaker identity. This proposal is on protecting the speaker’s privacy in speech data for two scenarios: 1) Speech anonymization: when the speaker shares the speech data in untrusted cyberspace, this speech data should be protected so that the audience can understand the speech but cannot infer who the speaker is; 2) Speech de-anonymization: when the speaker further shares the speech data to trusted audience, the original natural speech can be reconstructed from protected version.

研究成果の概要

音声データに含まれる話者識別情報の保護は現代において不可欠な技術である。深層学習に基づく話者匿名化技術は数多く存在するが、このプロジェクトは、主に三つの未解決課題に焦点を当てて研究を進めてきた。まず、自己教師あり学習モデルを用いた言語に依存しない話者匿名化システムを提案した。提案されたシステムは、英語と中国語の音声データに対して優れた匿名化性能を示した。さらに、従来のk-匿名化の問題点に着目し、話者ベクトル回転という匿名化アルゴリズムを提案した。最後に、提案手法を大規模音声データベースであるVoxCeleb2に適用し、匿名化されたデータベースの有用性とプライバシー保護性能を調査した。

研究成果の学術的意義や社会的意義

学術的成果として、現存の深層学習に基づく話者匿名化技術の言語依存性を着目し、複数の言語にも適用できる話者匿名化技術を開発した。また、従来のk-匿名化手法より、話者ベクトルの全体の分布を維持しながら匿名化が可能な手法を提案した。最後に、音声分野において初めてデータベース全体の匿名化を行い、有用性とプライバシー保護性能を調査した。いずれもの成果は音声分野のトップジャーナルや学会で発表された。そのほか、国際的なVoicePrivacyChallengeの運営にも貢献した。提案された技術はテレビ放送に使われたこともあった。

報告書

(4件)
  • 2023 実績報告書   研究成果報告書 ( PDF )
  • 2022 実施状況報告書
  • 2021 実施状況報告書
  • 研究成果

    (25件)

すべて 2024 2023 2022 2021 その他

すべて 国際共同研究 (4件) 雑誌論文 (3件) (うち国際共著 3件、 査読あり 3件、 オープンアクセス 3件) 学会発表 (11件) (うち国際学会 11件、 招待講演 2件) 備考 (7件)

  • [国際共同研究] University of Avignon/Inria/EURECOM(フランス)

    • 関連する報告書
      2023 実績報告書
  • [国際共同研究] Avignon University/Inria/University of Lorraine(フランス)

    • 関連する報告書
      2022 実施状況報告書
  • [国際共同研究] University of Avignon/EURECOM/Universite de Lorraine(フランス)

    • 関連する報告書
      2021 実施状況報告書
  • [国際共同研究] Naver Corporation(韓国)

    • 関連する報告書
      2021 実施状況報告書
  • [雑誌論文] Speaker Anonymization Using Orthogonal Householder Neural Network2023

    • 著者名/発表者名
      Miao Xiaoxiao、Wang Xin、Cooper Erica、Yamagishi Junichi、Tomashenko Natalia
    • 雑誌名

      IEEE/ACM Transactions on Audio, Speech, and Language Processing

      巻: 31 ページ: 3681-3695

    • DOI

      10.1109/taslp.2023.3313429

    • 関連する報告書
      2023 実績報告書
    • 査読あり / オープンアクセス / 国際共著
  • [雑誌論文] Privacy and Utility of X-Vector Based Speaker Anonymization2022

    • 著者名/発表者名
      Srivastava Brij Mohan Lal、Maouche Mohamed、Sahidullah Md、Vincent Emmanuel、Bellet Aurelien、Tommasi Marc、Tomashenko Natalia、Wang Xin、Yamagishi Junichi
    • 雑誌名

      IEEE/ACM Transactions on Audio, Speech, and Language Processing

      巻: 30 ページ: 2383-2395

    • DOI

      10.1109/taslp.2022.3190741

    • 関連する報告書
      2022 実施状況報告書
    • 査読あり / オープンアクセス / 国際共著
  • [雑誌論文] The VoicePrivacy 2020 Challenge: Results and findings2022

    • 著者名/発表者名
      Natalia Tomashenko, Xin Wang, Emmanuel Vincent, Jose Patino, Brij Mohan Lal Srivastava, Paul-Gauthier No?, Andreas Nautsch, Nicholas Evans, Junichi Yamagishi, Benjamin O’Brien, Ana?s Chanclu, Jean-Fran?ois Bonastre, Massimiliano Todisco, Mohamed Maouche
    • 雑誌名

      Computer Speech & Language

      巻: 74 ページ: 101362-101362

    • DOI

      10.1016/j.csl.2022.101362

    • 関連する報告書
      2021 実施状況報告書
    • 査読あり / オープンアクセス / 国際共著
  • [学会発表] SynVox2: Towards a Privacy-Friendly VoxCeleb2 Dataset2024

    • 著者名/発表者名
      Xiaoxiao Miao, Xin Wang, Erica Cooper, Junichi Yamagishi, Nicholas Evans, Massimiliano Todisco, Jean-Francois Bonastre, and Mickael Rouvier
    • 学会等名
      IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP)
    • 関連する報告書
      2023 実績報告書
    • 国際学会
  • [学会発表] Hiding Speaker’s Sex in Speech Using Zero-Evidence Speaker Representation in an Analysis/Synthesis Pipeline2023

    • 著者名/発表者名
      Paul-Gauthier Noe, Xiaoxiao Miao, Xin Wang, Junichi Yamagishi, Jean-Francois Bonastre, and Driss Matrouf
    • 学会等名
      ICASSP 2023
    • 関連する報告書
      2022 実施状況報告書
    • 国際学会
  • [学会発表] Analyzing Language-Independent Speaker Anonymization Framework under Unseen Conditions2022

    • 著者名/発表者名
      Xiaoxiao Miao, Xin Wang, Erica Cooper, Junichi Yamagishi, and Natalia Tomashenko
    • 学会等名
      Interspeech 2022
    • 関連する報告書
      2022 実施状況報告書
    • 国際学会
  • [学会発表] Tutorial on speaker anonymization (software part)2022

    • 著者名/発表者名
      Xin Wang
    • 学会等名
      2nd Symposium on Security and Privacy in Speech Communication joined with 2nd VoicePrivacy Challenge Workshop
    • 関連する報告書
      2022 実施状況報告書
    • 国際学会 / 招待講演
  • [学会発表] Language-Independent Speaker Anonymization Approach Using Self-Supervised Pre-Trained Models2022

    • 著者名/発表者名
      Xiaoxiao Miao, Xin Wang, Erica Cooper, Junichi Yamagishi, Natalia Tomashenko
    • 学会等名
      Proc. Odyssey 2022 The Speaker and Language Recognition Workshop
    • 関連する報告書
      2021 実施状況報告書
    • 国際学会
  • [学会発表] Estimating the confidence of speech spoofing countermeasure2022

    • 著者名/発表者名
      Wang Xin, Yamagishi Junichi
    • 学会等名
      ICASSP 2022
    • 関連する報告書
      2021 実施状況報告書
    • 国際学会
  • [学会発表] Attention Back-end for Automatic Speaker Verification with Multiple Enrollment Utterances2022

    • 著者名/発表者名
      Chang Zeng, Xin Wang, Erica Cooper, Xiaoxiao Miao, Junichi Yamagishi
    • 学会等名
      ICASSP 2022
    • 関連する報告書
      2021 実施状況報告書
    • 国際学会
  • [学会発表] Automatic speaker verification spoofing and deepfake detection using wav2vec 2.0 and data augmentation2022

    • 著者名/発表者名
      Hemlata Tak, Massimiliano Todisco, Xin Wang, Jee-weon Jung, Junichi Yamagishi, Nicholas Evans
    • 学会等名
      Proc. Odyssey 2022 The Speaker and Language Recognition Workshop
    • 関連する報告書
      2021 実施状況報告書
    • 国際学会
  • [学会発表] Investigating self-supervised front ends for speech spoofing countermeasures2022

    • 著者名/発表者名
      Xin Wang, Junichi Yamagishi
    • 学会等名
      Proc. Odyssey 2022 The Speaker and Language Recognition Workshop
    • 関連する報告書
      2021 実施状況報告書
    • 国際学会
  • [学会発表] Benchmarking and challenges in security and privacy for voice biometrics2021

    • 著者名/発表者名
      Jean-Francois Bonastre, Hector Delgado, Nicholas Evans, Tomi Kinnunen, Kong Aik Lee, Xuechen Liu, Andreas Nautsch, Paul-Gauthier NoE, Jose Patino, Md Sahidullah, Brij Mohan Lal Srivastava, Massimiliano Todisco, Natalia Tomashenko, Emmanuel Vincent, Xin Wang, Junichi Yamagishi
    • 学会等名
      2021 ISCA Symposium on Security and Privacy in Speech Communication
    • 関連する報告書
      2021 実施状況報告書
    • 国際学会
  • [学会発表] Two speech security issues after the speech synthesis boom2021

    • 著者名/発表者名
      Wang Xin
    • 学会等名
      Speech Synthesis Forum, China Computer Federation
    • 関連する報告書
      2021 実施状況報告書
    • 国際学会 / 招待講演
  • [備考] Voice Privacy Challenge 2024 official website

    • URL

      https://www.voiceprivacychallenge.org/

    • 関連する報告書
      2023 実績報告書
  • [備考] Voice Privacy Challenge 2024 official toolkit

    • URL

      https://github.com/Voice-Privacy-Challenge/Voice-Privacy-Challenge-2024/

    • 関連する報告書
      2023 実績報告書
  • [備考] VoicePrivacy Challenge 2022 results and outcomes

    • URL

      https://www.voiceprivacychallenge.org/results-2022/

    • 関連する報告書
      2022 実施状況報告書
  • [備考] Tutorial on speaker anonymization (software)

    • URL

      https://colab.research.google.com/drive/1_zRL_f9iyDvl_5Y2Rdakg0hYAl_5Rgyq

    • 関連する報告書
      2022 実施状況報告書
  • [備考] Official page of VoicePrivacy

    • URL

      https://www.voiceprivacychallenge.org/

    • 関連する報告書
      2021 実施状況報告書
  • [備考] Open-source baseline of VoicePrivacy 2022

    • URL

      https://github.com/Voice-Privacy-Challenge/Voice-Privacy-Challenge-2022

    • 関連する報告書
      2021 実施状況報告書
  • [備考] Languange-independent speaker anonymization system

    • URL

      https://github.com/nii-yamagishilab/SSL-SAS

    • 関連する報告書
      2021 実施状況報告書

URL: 

公開日: 2021-04-28   更新日: 2025-01-30  

サービス概要 検索マニュアル よくある質問 お知らせ 利用規程 科研費による研究の帰属

Powered by NII kakenhi