• 研究課題をさがす
  • 研究者をさがす
  • KAKENの使い方
  1. 前のページに戻る

人間の視覚特性を考慮した敵対的攻撃の脅威評価と対策技術に関する研究

研究課題

研究課題/領域番号 23K11111
研究種目

基盤研究(C)

配分区分基金
応募区分一般
審査区分 小区分60070:情報セキュリティ関連
研究機関早稲田大学

研究代表者

内田 真人  早稲田大学, 理工学術院, 教授 (20419617)

研究期間 (年度) 2023-04-01 – 2026-03-31
研究課題ステータス 交付 (2023年度)
配分額 *注記
4,680千円 (直接経費: 3,600千円、間接経費: 1,080千円)
2025年度: 1,560千円 (直接経費: 1,200千円、間接経費: 360千円)
2024年度: 1,560千円 (直接経費: 1,200千円、間接経費: 360千円)
2023年度: 1,560千円 (直接経費: 1,200千円、間接経費: 360千円)
キーワード敵対的攻撃 / 敵対的事例 / 機械学習の安全性・信頼性
研究開始時の研究の概要

本研究では、機械学習モデルを組み込んだ情報システムの安全性・信頼性を向上させるために、人間が視認できないほどの微弱な摂動を入力データに加えることで機械学習モデルの出力を誤らせるという敵対的攻撃について、人間の視覚特性を考慮した脅威評価と対策技術の開発を行う。脅威評価においては、敵対的攻撃における人間の視覚の影響について検討する。対策技術については、防御者視点のアプローチとして、摂動のバランスを崩すことで攻撃を無効化する手法を開発する。また、攻撃者視点のアプローチとして、架空の企業ロゴに対する機械学習モデルと人間の応答の違いを悪用した攻撃の実現性について検討し、対策技術を開発する。

研究実績の概要

本研究では、情報システムに組み込まれた機械学習モデルの安全性と信頼性を向上させることを目的に、特に、人間が知覚できないほどの微弱なノイズが加えられたデータ(敵対的事例)により機械学習モデルの出力を誤らせるという敵対的攻撃について、人間の視覚特性を考慮した脅威評価と対策技術について検討する。今年度は主に以下の研究を行った。
(1)人間の視覚特性を考慮した敵対的事例の効率的生成:人間に気付かれずに画像分類モデルを誤分類させる敵対的事例を作成する手法を提案した。提案手法では、既存手法で生成される視認性の高いノイズが加えられた画像を画像復元技術で修正することで、より攻撃能力の高い敵対的事例を生成する。
(2)ノイズのバランスの破壊による防御手法:敵対的事例による攻撃に対抗するため、画像分類モデルの防御手法を提案した。この手法では、画像内のピクセルのRGB値の一部を変更することによって敵対的に加えられたノイズのバランスを崩し、その効果を阻害する。
(3)敵対的攻撃手法の動的解析:敵対的攻撃のアルゴリズムを実際に動作させ、その挙動を観察することで攻撃の成否を詳細に解析する。これにより、敵対的攻撃アルゴリズム間の比較を可能にした。
(4)敵対的標識による誤認識リスクの評価と対策:企業ロゴ等が標識識別器に誤認識されるリスクを評価し、その対策技術を開発した。誤認識を引き起こす架空のロゴである「敵対的標識」を生成し、これらを訓練データに追加してモデルを再学習することで誤認識率を低減させる方法を提案した。

現在までの達成度 (区分)
現在までの達成度 (区分)

2: おおむね順調に進展している

理由

本研究では「人間の視覚は敵対的攻撃の評価にどのような影響を与え、どのような防御手法や攻撃手法を可能とするか?」という学術的問いを掲げ、以下の三つの課題を解決することを研究目的とする。
(ア)人間の視覚を考慮した、敵対的攻撃の脅威評価
(イ)人間の視覚の頑健性を善用した新たな防御手法の構築~防御者視点のアプローチ~
(ウ)人間の視覚の脆弱性を悪用した新たな攻撃手法の構築~攻撃者視点のアプローチ~
今年度はこれらの研究目的のそれぞれについて検討を進め、基礎なる知見や技術が着実に蓄積されつつある。また、本研究課題に関連する機械学習理論に関する検討も進めた。なお、今年度の検討結果については、雑誌論文1件、学会論文7件(国内学会:4件、国際学会:3件)として発表した。

今後の研究の推進方策

人間の視覚特性に基づく敵対的事例による攻撃手法とその防御策について、新たなアプローチの可能性を探求しつつ詳細に検討を進める。また、敵対的攻撃を含む機械学習セキュリティ全般に研究対象の範囲を広げる。研究成果については、雑誌論文や学会論文等として対外発表を随時行う予定である。

報告書

(1件)
  • 2023 実施状況報告書
  • 研究成果

    (9件)

すべて 2024 2023 その他

すべて 雑誌論文 (1件) (うち査読あり 1件) 学会発表 (7件) (うち国際学会 3件) 備考 (1件)

  • [雑誌論文] Q&A Label Learning2024

    • 著者名/発表者名
      Kawamoto Kota、Uchida Masato
    • 雑誌名

      Neural Computation

      巻: 36 号: 2 ページ: 312-349

    • DOI

      10.1162/neco_a_01633

    • 関連する報告書
      2023 実施状況報告書
    • 査読あり
  • [学会発表] 人間と機械学習モデルの両者をだますAdversarial Exampleの作成方法2024

    • 著者名/発表者名
      藤森 洸, 芝原 俊樹, 千葉 大紀, 秋山 満昭, 内田 真人
    • 学会等名
      電子情報通信学会 パターン認識・メディア理解研究会
    • 関連する報告書
      2023 実施状況報告書
  • [学会発表] 色情報の加工によるAdversarial Exampleの無効化2024

    • 著者名/発表者名
      添田 遼, 内田 真人
    • 学会等名
      電子情報通信学会 パターン認識・メディア理解研究会
    • 関連する報告書
      2023 実施状況報告書
  • [学会発表] Balancing Selection and Diversity in Ensemble Learning with Exponential Mixture Model2023

    • 著者名/発表者名
      Kosuke Sugiyama, Masato Uchida
    • 学会等名
      The 32nd International Conference on Artificial Neural Networks (ICANN 2023)
    • 関連する報告書
      2023 実施状況報告書
    • 国際学会
  • [学会発表] Dynamic Analysis of Adversarial Attacks2023

    • 著者名/発表者名
      Kentaro Goto, Masato Uchida
    • 学会等名
      The 10th IEEE Asia-Pacific Conference on Computer Science and Data Engineering (CSDE 2023)
    • 関連する報告書
      2023 実施状況報告書
    • 国際学会
  • [学会発表] Exploring Hessian Regularization in Mixup2023

    • 著者名/発表者名
      Kosuke Sugiyama, Masato Uchida
    • 学会等名
      The 22nd International Conference on Machine Learning and Applications (ICMLA 2023)
    • 関連する報告書
      2023 実施状況報告書
    • 国際学会
  • [学会発表] Mixupはヘッシアン正則化を含むか?2023

    • 著者名/発表者名
      杉山 孔亮, 内田 真人
    • 学会等名
      第22回情報科学技術フォーラム
    • 関連する報告書
      2023 実施状況報告書
  • [学会発表] 敵対的標識:標識識別器に対する脆弱性評価と敵対的訓練による対策2023

    • 著者名/発表者名
      林 海斗, 内田 真人
    • 学会等名
      第22回情報科学技術フォーラム
    • 関連する報告書
      2023 実施状況報告書
  • [備考] 内田研究室

    • URL

      https://uchida-lab.jp/

    • 関連する報告書
      2023 実施状況報告書

URL: 

公開日: 2023-04-13   更新日: 2024-12-25  

サービス概要 検索マニュアル よくある質問 お知らせ 利用規程 科研費による研究の帰属

Powered by NII kakenhi