2022 Fiscal Year Research-status Report
危険度が高い敵対的事例をハードラベルブラックボックス条件下で発見する最適化法
| Project/Area Number |
22K12196
|
|---|
| Research Institution | Kagoshima University |
|---|
Principal Investigator |
小野 智司 鹿児島大学, 理工学域工学系, 教授 (90363605)
|
|---|
| Project Period (FY) |
2022-04-01 – 2025-03-31
|
| Keywords | 敵対的攻撃 / 敵対的事例 / ハードラベルブラックボックス条件 / CMA-ES / 敵対的事例の矯正 / 物体認識 / 深度推定 / 音声認識 |
|---|
| Outline of Annual Research Achievements |
本研究は，危険度が高い脆弱性を，外乱や環境変化の影響を受けにくく深層ニューラルネットワーク（DNN）の誤動作を継続的に誘発する敵対的事例と考え，学習器が出力するTop-1クラスラベルのみを利用してこれを発見する方式を開発する．以下では，本年度の実績について，当初の研究計画の主要な研究内容である(a)ハードラベルブラックボックス条件下で危険性の高い敵対的事例を生成する方式の創出，および，(b) 物体認識，音声認識，物体検出，深度推定等のタスクへの応用，の観点から述べる．
(a)のハードラベルブラックボックス条件下において危険度の高い敵対的事例を発見する方式については，基本アルゴリズムの設計を行い，CMA-ESを基本とする攻撃アルゴリズムの特性の検証を行うとともに，物理環境下で脆弱性を検証することで敵対的事例候補の評価を行う実環境評価型最適化アルゴリズムの開発を行った．
(b)の各種タスクの応用については，物体認識，音声認識，深度推定タスクを対象として提案する敵対的攻撃アルゴリズムを適用するソフトウェアの開発を行った． 特に，画像を扱う深層ニューラルネットワークを実環境下で検証する実験環境の構築を行った．
上記に加え今年度は，(c) 敵対的事例の脆弱性に着目することで得られた敵対的事例の矯正方式，すなわち，敵対的事例から正しい分類カテゴリを推定する方式の着想を得た．本方式は，防御の対象となる深層ニューラルネットワークが扱う入力の種類（画像，音声など）によらず，敵対的攻撃方法が確立されている種類であれば適用できる汎用性に特徴がある．
|
| Current Status of Research Progress |
Current Status of Research Progress
1: Research has progressed more than it was originally planned.
Reason
本研究における主要な課題は，(a) ハードラベルブラックボックス条件下で危険性の高い敵対的事例を生成する方式の創出，および，(b) 物体認識，音声認識，物体検出，深度推定等のタスクへの応用である．
(a)については基盤となるアルゴリズムの開発が予定通り進行している．分散共分散適応型進化戦略アルゴリズムを基本として，ハードラベルブラックボックス条件下で画像識別器の脆弱性を発見でき，商用クラウドサービスにおける脆弱性を発見できることを確認している．この成果に関して学会発表を行い，2件の賞を受賞した．
(b)については，各応用タスクを対象として上記(a)の応用を行うソフトウェアの開発を行っている．特に，画像認識および深度推定については，実環境において敵対的事例の脆弱性を検証するための物理攻撃を行う手法および実験環境を構築した．これに関連して，投光攻撃により深度推定器の脆弱性を検証する論文がIEICE Transactions on Information and Systemsに掲載された．
上記に加えて，(c) 敵対的事例の脆弱性に着目することで得られた敵対的事例の矯正方式を提案し，画像認識のタスクにおいて，ホワイトボックス，ソフトラベルブラックボックス，ハードラベルブラックボックスのいずれの攻撃手法によって生成された敵対的事例からも高確率で正しいカテゴリを推定できることを確認した． この成果に関して学会発表を行い，1件の賞を受賞した．
以上のような状況であるため，概ね順調に成果をあげていると考える．
|
| Strategy for Future Research Activity |
基本アルゴリズムにおける解候補サンプリングの結果を，勾配方向の推定に加えて解候補の頑健性に評価に利用する．さらに，重点サンプリングを応用して再利用することで攻撃対象モデルの呼び出し回数の削減を試みる．
また，物体認識，音声認識タスクで上記方式の有効性の検証を行う．特に，商用クラウドにおける物体認識方式の脆弱性の検証を行う．
|
| Causes of Carryover |
コロナ禍により学会出張を行えなかったため，次年度の学会に参加する際に使用する．
|
