2021 Fiscal Year Annual Research Report
PRISM: Speech privacy preservation based on selecting masking
| Project/Area Number |
18H04112
|
|---|
| Research Institution | Nagoya Institute of Technology |
|---|
Principal Investigator |
徳田 恵一 名古屋工業大学, 工学(系)研究科(研究院), 教授 (20217483)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
山岸 順一 国立情報学研究所, コンテンツ科学研究系, 教授 (70709352)
南角 吉彦 名古屋工業大学, 工学(系)研究科(研究院), 准教授 (80397497)
橋本 佳 名古屋工業大学, 工学(系)研究科(研究院), 准教授 (10635907)
|
|---|
| Project Period (FY) |
2018-04-01 – 2022-03-31
|
| Keywords | 音声情報処理 / 音声プライバシー / 音声合成 |
|---|
| Outline of Annual Research Achievements |
実空間における音声プライバシー保護技術については、主に個人性と発話内容を対象とし、これらの情報を隠蔽するマスキング信号の生成技術について検討を進めてきたが、本年度は、実際の公共空間あるいはそれと同等の環境において、利用者の立場でのプライバシー感の評価やマスキング信号により周囲に迷惑をかけていると感じるか、第３者がマスキング音をどのように感じるかなどを含んだ評価実験を行い、その結果に基づいてより高度で快適なマスキング信号生成技術としてまとめた。
収録済みの音声データを対象としたプライバシー保護技術(「サイバースペースにおける音声プライバシー保護技術」)については、これまでに、音声を抑揚、音素情報、話者埋め込みベクトルの３つの情報に分解し、話者埋め込みベクトルの平均化により匿名化する手法を提案したが、素情報の抽出には音声認識システムを利用しており、それ故、音素ラベルや発音辞書などの言語依存資源が教師ありデータとして必要であり、システム構築にはコストがかかっていた。そこでこのモジュールを、wav2vec 2.0やHuBERT等の音声波形から事前自己学習したモデルに置き換えることにより、上記問題を解決した話者匿名化手法を提案した。
また、前述の話者匿名化手法と類似ニューラルネットワーク構造で、話者情報ではなく、発話内容を表す潜在変数を置き換えることに発話内容を隠蔽する手法を提案した。本手法により、ビープ音等の特殊音を使わずに、かつ、もとの話者性を保ったまま、発話の一部をマスキングする事が可能になった。
|
| Research Progress Status |
令和3年度が最終年度であるため、記入しない。
|
| Strategy for Future Research Activity |
令和3年度が最終年度であるため、記入しない。
|
Research Products
(18 results)
-
-
-
[Journal Article] The VoicePrivacy 2020 Challenge: Results and findings2022
Author(s)
Natalia Tomashenko, Xin Wang, Emmanuel Vincent, Jose Patino, Brij Mohan Lal Srivastava, Paul-Gauthier No?, Andreas Nautsch, Nicholas Evans, Junichi Yamagishi, Benjamin O’Brien, Ana?s Chanclu, Jean-Fran?ois Bonastre, Massimiliano Todisco, Mohamed Maouche
-
Journal Title
Computer Speech & Language
Volume: 74
Pages: -
DOI
Peer Reviewed / Open Access / Int'l Joint Research
-
-
-
-
-
-
-
-
-
-
-
-
-
-
[Presentation] Revisiting Speech Content Privacy2021
Author(s)
Jennifer Williams, Junichi Yamagishi, Paul-Gauthier Noe, Cassia Valentini Botinhao, Jean-Francois Bonastre
Organizer
ISCA Security and Privacy in Speech Communication 2021 (1st SPSC Symposium)
Int'l Joint Research
-
