2017 Fiscal Year Annual Research Report
メディアクローン攻撃を防御するための聴覚メディア信号処理基盤の構築
| Project/Area Number |
17H01761
|
|---|
| Research Institution | Japan Advanced Institute of Science and Technology |
|---|
Principal Investigator |
鵜木 祐史 北陸先端科学技術大学院大学, 先端科学技術研究科, 教授 (00343187)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
赤木 正人 北陸先端科学技術大学院大学, 先端科学技術研究科, 教授 (20242571)
|
|---|
| Project Period (FY) |
2017-04-01 – 2021-03-31
|
| Keywords | 聴覚メディア信号処理 / メディアクローン / 音声合成技術 / 聴覚センシング / 音響電子透かし / 音声電子透かし / 音声電子指紋 |
|---|
| Outline of Annual Research Achievements |
実世界の真正データから限りなく本物に近いものとして人工的に作られたメディアは「メディアクローン」と呼ばれる．近年，このメディアクローンが実世界やサイバー空間で流通され，社会的脅威となりつつある．特に，音声合成技術を駆使して産み出された本物そっくりな音声は，「なりすまし」や「改ざん」に悪用され，音声認証システムを突破するなど重大な社会問題を巻き起こしつつある．本研究の目的は，音信号のメディアクローン攻撃に対して，適切な防御策（なりすましや改ざんの検出）を実現するための聴覚メディア信号処理の基盤技術を確立することである．
本年度は，音声のメディアクローン生成・認識法を深く理解し，具体的な攻撃方法を模擬検討した．まず，音声（原信号）に対し，発話内容を保存したままロンバード効果のように音声の明瞭性を強調処理する仕組みや，音声の話者性を保存したまま発話内容の変換，明瞭性の変換を可能とする音声処理法を検討した．まだ原信号と変換処理信号の間に自然さの違いが若干みられるため，今後の検討課題とした．次に，線形予測法（LP）をベースとした音声分析合成系における音声改ざん等を防ぐための情報ハイディング法を検討した．ここでは，直接型のスペクトル拡散法で利用される疑似雑音系列信号とLP残差の類似性に着目して，スペクトル拡散型音声情報ハイディング法を発案した．最後に，主課題である聴覚的な電子指紋技術を確立するために，メディアクローンで利用される重要な音響的特徴を検討した．ここではスパース符号化の一つであり，聴覚特性を加味したSpikegramを利用した音声電子指紋を検討した．この方法により，聴覚メディア情報に含まれる人工的な情報を，音響電子指紋を検出することで，メディアクローン化の手がかりを探ることができる．
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
研究期間では，音声のメディアクローンの生成・認識法を深く理解した上で，次の2つの課題に取り組むことを計画していた．①音声のメディアクローンを作成する際，何が最も重要な音響的特徴であるか明らかにする．②ヒトが発する音と機械が発する音の音響的特徴の差異を明らかにする．
当該年度では，課題①に関して，まずどのようにメディアクローンを作成することができるかを検討した．一つは高度な音声分析合成系（STRAIGHT）を利用した音声の明瞭性・強弱変化が可能であること，もう一つは機械学習（Variational Autoencoder）を利用した音声の声質変換が可能であることを確認した．次に課題②に関して，心理音響解析システムを利用して，様々な音質評価指標（変動強度，ラフネス，シャープネス）を調査することで音響的特徴の差異を検討した．最後に，音声のメディアクローンの生成・認識のために重要な特徴として，聴覚特性を加味したSpikegramが有効であることがわかった．以上から，当初の計画通りに実施できていると判断できる．
|
| Strategy for Future Research Activity |
今年度の取り組みから，音響特徴として従来から知られるもの（例えば，基本周波数やスペクトル，時間長）のほか，変調成分（音声の振幅包絡線情報の時間変化）も重要なものであることがわかった．また，聴覚特性を加味したSpikegramには，代表的な聴覚フィルタ特徴（Gammatone/Gammachirpフィルタ）を基底としたスパース符号化やマスキング特性を考慮することも可能であることがわかった．今後は，これらの発見に基づき，上記二つの課題①と課題②を継続して実施することで，研究の推進をはかる．特に，課題②に関しては，現状の取り組みの他に，ヒトが発する声（音声だけでなく口唇や舌，鼻腔からでる人体雑音）と機械が発する音（例えば，AD/DA変換から生じる微小な定常的雑音やジッター・シマーのようなヒトには知覚できない位相変化をもつ音）の音響的特徴の検討も行うことで，研究の大きな前進を目指す．
|
Research Products
(12 results)
