2020 Fiscal Year Annual Research Report
Research on auditory-media signal processing for defending against attacks of media clones
| Project/Area Number |
17H01761
|
|---|
| Research Institution | Japan Advanced Institute of Science and Technology |
|---|
Principal Investigator |
鵜木 祐史 北陸先端科学技術大学院大学, 先端科学技術研究科, 教授 (00343187)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
赤木 正人 北陸先端科学技術大学院大学, 先端科学技術研究科, 教授 (20242571)
|
|---|
| Project Period (FY) |
2017-04-01 – 2021-03-31
|
| Keywords | 聴覚メディア信号処理 / メディアクローン / 音声合成技術 / 聴覚センシング / 音響情報ハイディング / 音響電子透かし |
|---|
| Outline of Annual Research Achievements |
本年度（最終年度）は，音声のメディアクローン生成・認識法を深く理解するために，VAEとStarGANを利用して，音声の話者性と発話内容を切り分けて制御可能な音声変換法を提案した．音声変換の総合評価の結果，提案法は，VQ-VAE法といった従来法よりも，高い音質を保持しつつ，音声の話者性と発話内容の変換に対して有効であることがわかった．これらの結果から，音声のメディアクローンを作成する際，音声スペクトル包絡線情報と音源情報の時間変動が重要な音響的特徴であることがわかった．
次に，人が発した音声なのか，あるいはメディアクローンなのかを判断するために，重要な音響的特徴を検討した．その結果，音声の子音部分や無音区間における音響的特徴の差異を利用できることがわかった．
次に，音響的特徴に知覚不可能で頑健な秘匿情報を埋め込む仕組みを検討した．ここでは，メディアクローン攻撃や音声改ざん等を防ぐための情報ハイディング法として，線形予測法（LP）をベースとした音声分析合成系におけるスペクトル拡散型音声情報ハイディング法や，ロバスト主成分分析法（RPCA）とフォルマント強調法を組み合わせた音声情報ハイディング法を実現した．また，CELP音声分析合成系において，スペクトル包絡線情報の一つである線スペクトル周波数LSFに量子化変調（QIM）することで情報ハイディングする方法も実現した．
最後に，両方法を利用したハイブリッド型の音声改ざん検出法も検討した．これらの方法が，典型的な改ざん攻撃に対して耐性があることを確認した．また，話者性を秘匿するAnonymization技術への応用についても検討した．これらが音声のメディアクローン検出に重要な技術に成り得ることを確認した．
|
| Research Progress Status |
令和2年度が最終年度であるため、記入しない。
|
| Strategy for Future Research Activity |
令和2年度が最終年度であるため、記入しない。
|
| Remarks |
Science Impact Construction of auditory media signal processing infrastructure to prevent media clone attacks
https://www.ingentaconnect.com/content/sil/impact/2020/00002020/00000002/art00008
|
