2019 Fiscal Year Annual Research Report
Deep learning security and privacy focused on human-machine recognition gap
| Project/Area Number |
19H04164
|
|---|
| Research Institution | University of Tsukuba |
|---|
Principal Investigator |
佐久間 淳 筑波大学, システム情報系, 教授 (90376963)
|
|---|
| Project Period (FY) |
2019-04-01 – 2023-03-31
|
| Keywords | セキュリティ / プライバシー / 機械学習 / 深層学習 / 敵対的サンプル / 電子透かし |
|---|
| Outline of Annual Research Achievements |
2019年度は主に２つの成果があった。
（１）最先端の音声認識モデルを物理世界で攻撃することができる音声敵対例を生成する手法を提案した。これまでの研究では、生成された敵対的サンプルが認識モデルに直接入力されることを前提としており、実際には物理世界では再生環境からの残響やノイズの影響を受けて、攻撃を行うことができなかった。これに対し、提案手法では、物理世界での再生や録音による音声波形の変化をシミュレートし、その変化を生成プロセスに組み込むことで、ロバストな敵対的サンプルを生成する。評価と試聴実験の結果、我々の手法は人間に気づかれずに音声認識モデルを攻撃できることを示した。この結果は，提案手法によって生成された音声敵対的サンプルが実際の脅威となる可能性を示唆している．
（２）深層学習モデルの学習にはコストがかかるため、ユーザがモデルを無断で再配布するなどの、悪意のあるユーザによる権利侵害の懸念がある。この研究では、ニューラルネットワークモデルを知的財産として保護する手法を提案した。この問題に対する解決策の一つとして、モデルに電子透かしを埋め込むことで、モデルの所有者がモデルの所有権を外部から確認できるようにする方法が考えられるが、この研究で提案するクエリ修正と呼ばれる新しい攻撃方法を用いると、現在存在するすべての電子透かし方法が、クエリ修正や他の既存の攻撃方法（モデル修正など）に対して脆弱であることが実証された。これらの脆弱性を克服するために、指数型重み付けと名付けた新しい電子透かし手法を提案し、不正なサービスプロバイダによる悪意のある無効化処理の試みに対しても、ニューラルネットワークモデル自体の予測性能を犠牲にすることなく、高い電子透かし検証性能を達成することを実験的に示した。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
2019年度は、敵対的サンプルという観点からは音声認識を事例に、物理世界での攻撃を実現する攻撃手法の研究をおこなってきた。この研究は人工知能分野における２つのトップ会議、IJCAI2019およびAAAI2000で発表されており、進捗状況は順調である。
不正利用の検出という観点からは、識別モデルを事例に、攻撃耐性を持つ透かしの埋め込みに関する研究を行ってきた。この研究も、準トップ会議であるASIACCS2019で発表されており、進捗状況は順調である。
|
| Strategy for Future Research Activity |
敵対的サンプルという観点からは２つの方向での発展を考えている。一つは、ADPと呼ばれる出力される予測確率ベクトルが多様化された深層学習モデルのアンサンブルが敵対的サンプルに対する高い防御性能を持つことが知られているが、なぜそのような防御性能をもつか理由がわかっていない。その理由を明らかにし、敵対的サンプルに対するより高い防御性能を達成するための方法を検討する。また、最近人間が深層学習による予測を理解するための説明を深層学習に出力させるexplainable AIへの期待が高まっている。一方で、このようなexplainable AIに対する攻撃が可能であることがわかりつつある。攻撃態勢を持つexplainable AIの研究も同時にすすめる。
不正利用の検出という観点からは、最近DeepFakeと呼ばれる画像やスピーチの偽造技術の発展が懸念されている。深層生成モデルから生成された画像やスピーチの検出技術についても研究をすすめる。
|
