• 研究課題をさがす
  • 研究者をさがす
  • KAKENの使い方
  1. 前のページに戻る

Learning Internal Representations Robust against Adversarial Attacks

研究課題

研究課題/領域番号 20K19824
研究種目

若手研究

配分区分基金
審査区分 小区分61010:知覚情報処理関連
研究機関九州大学

研究代表者

VARGAS DANILO  九州大学, システム情報科学研究院, 准教授 (00795536)

研究期間 (年度) 2020-04-01 – 2022-03-31
研究課題ステータス 完了 (2021年度)
配分額 *注記
2,470千円 (直接経費: 1,900千円、間接経費: 570千円)
2021年度: 910千円 (直接経費: 700千円、間接経費: 210千円)
2020年度: 1,560千円 (直接経費: 1,200千円、間接経費: 360千円)
キーワードRobust AI / Robust Machine Learning / Adversarial ML / Robust Representations / 敵対的機械学習 / Deep Neural Networks / 深層学習 / One pixel attack / GAN / ロバスト人工知能 / 敵対的学習
研究開始時の研究の概要

Current DNNs are known to possess many vulnerabilities which make their applications unsafe. In our last investigations, it was understood that the problem lies in the fact that DNNs focus on the texture rather than the shape in their representation. GANs, however, learn to encode, decode as well as transform images and are known to learn internally complex models of the input that goes beyond texture. Here, I propose to tackle the robustness of DNNs by using the internal representation learned by GANs to create DNNs capable of classifying based on features that go beyond texture.

研究成果の概要

本研究では、DNNが学習した内部表現を評価・改善することで、DNNの頑健性に取り組むことを提案した。DNNの内部表現の評価については、特徴の伝達性が敵対的攻撃への頑健性につながることを発見した。つまり、特徴の伝達性が高いほど、敵対的な攻撃に対する頑健性が高いことを発見した。また、複数層のDNNをまとめてグラフで評価・可視化し、多次元空間での形状を容易に点検できるK-spectrumを提案した。DNNの内部表現の改善に関しては、提案にあるように、ネットワークの頑健性を向上させるGANを用いたシステムを開発した。
この研究の成果は、雑誌やプロシーディングスに掲載され、合計で13以上の論文がある。

研究成果の学術的意義や社会的意義

Critical systems such as autonomous driving and medical applications require robust machine learning algorithms. This research paves the way to better algorithms that will allow for such applications to become a reality.

報告書

(3件)
  • 2021 実績報告書   研究成果報告書 ( PDF )
  • 2020 実施状況報告書
  • 研究成果

    (22件)

すべて 2022 2021 2020

すべて 雑誌論文 (8件) (うち国際共著 7件、 査読あり 7件、 オープンアクセス 7件) 学会発表 (13件) (うち国際学会 9件、 招待講演 2件) 図書 (1件)

  • [雑誌論文] Adversarial Robustness Assessment: Why both L0 and L∞ Attacks Are Necessary2022

    • 著者名/発表者名
      S. Kotyan and D. V. Vargas
    • 雑誌名

      PLOS ONE

      巻: --- 号: 4 ページ: 265723-265723

    • DOI

      10.1371/journal.pone.0265723

    • 関連する報告書
      2021 実績報告書
    • 査読あり / オープンアクセス / 国際共著
  • [雑誌論文] Setting the space for deliberation in decision-making2021

    • 著者名/発表者名
      J. Lauwereyns and D. V. Vargas
    • 雑誌名

      Cognitive Neurodynamics

      巻: 15 号: 5 ページ: 743-755

    • DOI

      10.1007/s11571-021-09681-2

    • 関連する報告書
      2021 実績報告書
  • [雑誌論文] Continual General Chunking Problem and SyncMap2021

    • 著者名/発表者名
      D. V. Vargas and T. Asabuki
    • 雑誌名

      Proceedings of the AAAI21

      巻: in press

    • 関連する報告書
      2020 実施状況報告書
    • 査読あり / オープンアクセス / 国際共著
  • [雑誌論文] Preliminary study of applied binary neural networks for neural cryptography2020

    • 著者名/発表者名
      Tenorio Raul Horacio Valencia、Sham Chiu Wing、Vargas Danilo Vasconcellos
    • 雑誌名

      Proceedings of the GECCO 2020 Companion

      巻: 1 ページ: 291-292

    • DOI

      10.1145/3377929.3389933

    • 関連する報告書
      2020 実施状況報告書
    • 査読あり / オープンアクセス / 国際共著
  • [雑誌論文] Towards Evolving Robust Neural Architectures to Defend from Adversarial Attacks2020

    • 著者名/発表者名
      Kotyan, S. and D. V. Vargas
    • 雑誌名

      Proceedings of the GECCO 2020 Companion

      巻: 1 ページ: 290-291

    • 関連する報告書
      2020 実施状況報告書
    • 査読あり / オープンアクセス / 国際共著
  • [雑誌論文] Towards improvement of SUNA in Multiplexers with preliminary results of2020

    • 著者名/発表者名
      Anh Duc Ta and D. V. Vargas
    • 雑誌名

      Proceedings of the GECCO 2020 Companion

      巻: 1 ページ: 289-290

    • 関連する報告書
      2020 実施状況報告書
    • 査読あり / オープンアクセス / 国際共著
  • [雑誌論文] Understanding the one-pixel attack: Propagation maps and locality analysis2020

    • 著者名/発表者名
      D. V. Vargas and Su
    • 雑誌名

      CEUR Workshop Proceedings

      巻: 1 ページ: 1-8

    • 関連する報告書
      2020 実施状況報告書
    • 査読あり / オープンアクセス / 国際共著
  • [雑誌論文] Evolving Robust Neural Architectures to Defend from Adversarial Attacks2020

    • 著者名/発表者名
      Kotyan, S. and D. V. Vargas
    • 雑誌名

      CEUR Workshop Proceedings

      巻: 1 ページ: 1-8

    • 関連する報告書
      2020 実施状況報告書
    • 査読あり / オープンアクセス / 国際共著
  • [学会発表] 過去の情報を用いたQ-learning2022

    • 著者名/発表者名
      大石 幸斗, Vargas Danilo Vasconcellos
    • 学会等名
      第40回計測自動制御学会九州支部学術講演会
    • 関連する報告書
      2021 実績報告書
  • [学会発表] On the deeper secrets of deep neural networks and path forward2021

    • 著者名/発表者名
      ヴァルガス ダニロ,
    • 学会等名
      BEYOND AI" SUMMER SCHOOL 2021
    • 関連する報告書
      2021 実績報告書
    • 招待講演
  • [学会発表] owards Evaluating the Representation Learned by Variational AutoEncoders2021

    • 著者名/発表者名
      T. Ueda and D. V. Vargas
    • 学会等名
      SICE Annual Conference (SICE 2021)
    • 関連する報告書
      2021 実績報告書
    • 国際学会
  • [学会発表] Preliminary results on Chunking with Recurrent Neural Networks2021

    • 著者名/発表者名
      Po-Yuan Mao and Danilo Vasconcellos Vargas
    • 学会等名
      SICE Annual Conference (SICE 2021)
    • 関連する報告書
      2021 実績報告書
    • 国際学会
  • [学会発表] Deep neural network loses attention to adversarial images2021

    • 著者名/発表者名
      S. Kotyan and D. V. Vargas
    • 学会等名
      AISafety Workshop (AISafety 2021)
    • 関連する報告書
      2021 実績報告書
    • 国際学会
  • [学会発表] Towards Understanding The Space of Unrobust Features of Neural Networks2021

    • 著者名/発表者名
      L. Bingli, T. Kanzaki and D. V. Vargas
    • 学会等名
      IEEE CYBCONF 2021
    • 関連する報告書
      2021 実績報告書
    • 国際学会
  • [学会発表] Towards learning Hierarchical Structures with SyncMap2021

    • 著者名/発表者名
      Y. F. Tham and D. V. Vargas
    • 学会等名
      IEEE CYBCONF 2021
    • 関連する報告書
      2021 実績報告書
    • 国際学会
  • [学会発表] Parameter Optimization via CMA-ES for Implementation in the Active Control of Magnetic Pillar Arrays2021

    • 著者名/発表者名
      S. Gaysornkaew, D. V. Vargas and F. Tsumori
    • 学会等名
      IEEE CYBCONF 2021
    • 関連する報告書
      2021 実績報告書
    • 国際学会
  • [学会発表] Preliminary Results for Subpopulation Algorithm Based on Novelty (SAN) Compared with the State of the Art2021

    • 著者名/発表者名
      Y. Jiang (South China University of Technology) and D. V. Vargas
    • 学会等名
      IEEE CYBCONF 2021
    • 関連する報告書
      2021 実績報告書
    • 国際学会
  • [学会発表] 一ピクセルで誤魔化される人工知能が人間を超えた?2020

    • 著者名/発表者名
      D. V. Vargas
    • 学会等名
      第7回AI Optics研究会
    • 関連する報告書
      2020 実施状況報告書
    • 招待講演
  • [学会発表] On The Deeper Secrets of Deep Learning2020

    • 著者名/発表者名
      D. V. Vargas
    • 学会等名
      IJCAI20
    • 関連する報告書
      2020 実施状況報告書
    • 国際学会
  • [学会発表] On The Deeper Secrets of Deep Learning2020

    • 著者名/発表者名
      D. V. Vargas
    • 学会等名
      WCCI20
    • 関連する報告書
      2020 実施状況報告書
    • 国際学会
  • [学会発表] Is Neural Architecture Search A Way Forward to Develop Robust Neural Networks?2020

    • 著者名/発表者名
      Kotyan, S. and D. V. Vargas
    • 学会等名
      JSAI2020
    • 関連する報告書
      2020 実施状況報告書
  • [図書] Autonomous Vehicles: Business, Technology and Law2021

    • 著者名/発表者名
      Van Uytsel, S. and D. V. Vargas
    • 総ページ数
      228
    • 出版者
      Springer
    • ISBN
      9789811592546
    • 関連する報告書
      2020 実施状況報告書

URL: 

公開日: 2020-04-28   更新日: 2023-01-30  

サービス概要 検索マニュアル よくある質問 お知らせ 利用規程 科研費による研究の帰属

Powered by NII kakenhi