人間の視覚特性を考慮した敵対的攻撃の脅威評価と対策技術に関する研究
| Project/Area Number |
23K11111
|
|---|
| Research Category |
Grant-in-Aid for Scientific Research (C)
|
| Allocation Type | Multi-year Fund |
|---|
| Section | 一般 |
|---|
| Review Section |
Basic Section 60070:Information security-related
|
|---|
| Research Institution | Waseda University |
|---|
Principal Investigator |
内田 真人 早稲田大学, 理工学術院, 教授 (20419617)
|
|---|
| Project Period (FY) |
2023-04-01 – 2026-03-31
|
| Project Status |
Granted (Fiscal Year 2023)
|
| Budget Amount *help |
¥4,680,000 (Direct Cost: ¥3,600,000、Indirect Cost: ¥1,080,000)
Fiscal Year 2025: ¥1,560,000 (Direct Cost: ¥1,200,000、Indirect Cost: ¥360,000)
Fiscal Year 2024: ¥1,560,000 (Direct Cost: ¥1,200,000、Indirect Cost: ¥360,000)
Fiscal Year 2023: ¥1,560,000 (Direct Cost: ¥1,200,000、Indirect Cost: ¥360,000)
|
|---|
| Keywords | 敵対的攻撃 / 敵対的事例 / 機械学習の安全性・信頼性 |
|---|
| Outline of Research at the Start |
本研究では、機械学習モデルを組み込んだ情報システムの安全性・信頼性を向上させるために、人間が視認できないほどの微弱な摂動を入力データに加えることで機械学習モデルの出力を誤らせるという敵対的攻撃について、人間の視覚特性を考慮した脅威評価と対策技術の開発を行う。脅威評価においては、敵対的攻撃における人間の視覚の影響について検討する。対策技術については、防御者視点のアプローチとして、摂動のバランスを崩すことで攻撃を無効化する手法を開発する。また、攻撃者視点のアプローチとして、架空の企業ロゴに対する機械学習モデルと人間の応答の違いを悪用した攻撃の実現性について検討し、対策技術を開発する。
|
| Outline of Annual Research Achievements |
本研究では、情報システムに組み込まれた機械学習モデルの安全性と信頼性を向上させることを目的に、特に、人間が知覚できないほどの微弱なノイズが加えられたデータ（敵対的事例）により機械学習モデルの出力を誤らせるという敵対的攻撃について、人間の視覚特性を考慮した脅威評価と対策技術について検討する。今年度は主に以下の研究を行った。
（１）人間の視覚特性を考慮した敵対的事例の効率的生成：人間に気付かれずに画像分類モデルを誤分類させる敵対的事例を作成する手法を提案した。提案手法では、既存手法で生成される視認性の高いノイズが加えられた画像を画像復元技術で修正することで、より攻撃能力の高い敵対的事例を生成する。
（２）ノイズのバランスの破壊による防御手法：敵対的事例による攻撃に対抗するため、画像分類モデルの防御手法を提案した。この手法では、画像内のピクセルのRGB値の一部を変更することによって敵対的に加えられたノイズのバランスを崩し、その効果を阻害する。
（３）敵対的攻撃手法の動的解析：敵対的攻撃のアルゴリズムを実際に動作させ、その挙動を観察することで攻撃の成否を詳細に解析する。これにより、敵対的攻撃アルゴリズム間の比較を可能にした。
（４）敵対的標識による誤認識リスクの評価と対策：企業ロゴ等が標識識別器に誤認識されるリスクを評価し、その対策技術を開発した。誤認識を引き起こす架空のロゴである「敵対的標識」を生成し、これらを訓練データに追加してモデルを再学習することで誤認識率を低減させる方法を提案した。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
本研究では「人間の視覚は敵対的攻撃の評価にどのような影響を与え、どのような防御手法や攻撃手法を可能とするか？」という学術的問いを掲げ、以下の三つの課題を解決することを研究目的とする。
（ア）人間の視覚を考慮した、敵対的攻撃の脅威評価
（イ）人間の視覚の頑健性を善用した新たな防御手法の構築～防御者視点のアプローチ～
（ウ）人間の視覚の脆弱性を悪用した新たな攻撃手法の構築～攻撃者視点のアプローチ～
今年度はこれらの研究目的のそれぞれについて検討を進め、基礎なる知見や技術が着実に蓄積されつつある。また、本研究課題に関連する機械学習理論に関する検討も進めた。なお、今年度の検討結果については、雑誌論文1件、学会論文7件（国内学会：4件、国際学会：3件）として発表した。
|
| Strategy for Future Research Activity |
人間の視覚特性に基づく敵対的事例による攻撃手法とその防御策について、新たなアプローチの可能性を探求しつつ詳細に検討を進める。また、敵対的攻撃を含む機械学習セキュリティ全般に研究対象の範囲を広げる。研究成果については、雑誌論文や学会論文等として対外発表を随時行う予定である。
|
Report
(1 results)
Research Products
(9 results)
