2019 Fiscal Year Annual Research Report
PRISM: Speech privacy preservation based on selecting masking
| Project/Area Number |
18H04112
|
|---|
| Research Institution | Nagoya Institute of Technology |
|---|
Principal Investigator |
徳田 恵一 名古屋工業大学, 工学(系)研究科(研究院), 教授 (20217483)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
山岸 順一 国立情報学研究所, コンテンツ科学研究系, 教授 (70709352)
南角 吉彦 名古屋工業大学, 工学(系)研究科(研究院), 准教授 (80397497)
橋本 佳 名古屋工業大学, 工学(系)研究科(研究院), 准教授 (10635907)
|
|---|
| Project Period (FY) |
2018-04-01 – 2022-03-31
|
| Keywords | 音声情報処理 / 音声プライバシー / 音声合成 |
|---|
| Outline of Annual Research Achievements |
本研究では、音声に含まれるプライバシー情報を分離・変換可能な形で音声をモデル化することで、音声モデリングによる統一的な枠組みによって選択的にプライバシー情報を保護可能にする、次世代音声プライバシー保護技術 (PRISM: PRIvacy Selecting Masking)を確立することを目的とする。
実空間における音声プライバシー保護技術の確立については、主に個人性と発話内容を対象とし、これらの情報を隠蔽するマスキング信号の生成技術について検討を進めてきた。利用者の合成音声を用いたマスキング信号の生成に取り組み、主観評価実験により、利用者の声質の合成音声を用いることで、ホワイトノイズやピンクノイズ、さらには他人の声質の合成音声に対して、より高いマスキング効果が得られることを示したが、本年度は、更に利用者の立場でのプライバシー感の評価やマスキング信号により周囲に迷惑をかけていると感じるかなど、網羅的な評価を行い有効性を示した。
収録済みの音声データを対象としたプライバシー保護技術(「サイバースペースにおける音声プライバシー保護技術」)については、話者照合システムもしくは人間に、個人を特定されない様に音声を自動的に匿名化する技術「話者匿名化」に関する研究を行った。本枠組みでは、まず音声を、話者埋め込みベクトル、音素事後確率、基本周波数の３要素に分解し、次に、話者埋め込みベクトルを周辺話者と平均化させ、最後に、ニューラルボコーダにより高品質な音声を再合成する。これにより、言語情報と音韻性を保ったまま、元話者とは異なる話者へ変換することを実現した。音声の品質劣化は比較的少ないにもかかわらず、話者照合システムの照合誤りを非常に高められることが確認できた。また聴覚的にも個人を特定しにくくなることも確認できた。
|
| Current Status of Research Progress |
Current Status of Research Progress
1: Research has progressed more than it was originally planned.
Reason
ここまでに実空間における音声プライバシー保護技術、サイバースペースにおける音声プライバシー保護技術について多方面から網羅的な研究を進めており、基礎研究も含め、多くの成果を挙げている。このため、当初の計画以上に進展していると言える。
|
| Strategy for Future Research Activity |
引き続き、収録済みの音声データを対象としたプライバシー保護技術(「サイバースペースにおける音声プライバシー保護技術」)と実空間における音声を対象としたプライバシー保護技術(「実空間における音声プライバシー保護技術」)の2つの技術の構築に取り組む。
実空間における音声プライバシー保護技術については、主に個人性と発話内容を対象とし、これらの情報を隠蔽するマスキング信号の生成技術について検討を進めてきた。今後は、利用者の立場でのプライバシー感の評価やマスキング信号により周囲に迷惑をかけていると感じるかなどについて評価だけでなく、第３者がマスキング音をどのように感じるかなどを含んだ評価を行い、その結果に基づいてより高度で快適なマスキング信号生成技術の研究に取り組む。
サイバースペースにおける音声プライバシー保護技術に関して、話者匿名化の有効性を厳密に示すには、上記の評価に加え、話者匿名化された音声が再識別不可能であること、そして、匿名化された音声が他の用途に有用である事も示す必要がある。匿名化済みの音声に対する再識別困難性を実証するためには、スキルの異なる再識別攻撃者を複数想定する必要がある。予備実験からは、前述した話者匿名化法は、高度なスキルを利用した再識別攻撃により個人が特定される可能性がある事がわかっている。今後は、より厳密な再識別評価および再識別攻撃に対しても耐性がある話者匿名化法を検討する。また、音声のプライバシーに関する研究は、現在、基盤ツールや評価用データベースが存在していない。相互比較や研究加速のために、データベース公開やオープンソース公開など研究インフラ整備も鋭意行う予定である。
|
