• Search Research Projects
  • Search Researchers
  • How to Use
  1. Back to previous page

Adversarial design in deep learning

Research Project

Project/Area Number 23K24914
Project/Area Number (Other) 22H03658 (2022-2023)
Research Category

Grant-in-Aid for Scientific Research (B)

Allocation TypeMulti-year Fund (2024)
Single-year Grants (2022-2023)
Section一般
Review Section Basic Section 61040:Soft computing-related
Research InstitutionChiba University

Principal Investigator

川本 一彦  千葉大学, 大学院情報学研究院, 教授 (30345376)

Co-Investigator(Kenkyū-buntansha) 計良 宥志  千葉大学, 大学院情報学研究院, 助教 (00887705)
Project Period (FY) 2022-04-01 – 2026-03-31
Project Status Granted (Fiscal Year 2024)
Budget Amount *help
¥17,160,000 (Direct Cost: ¥13,200,000、Indirect Cost: ¥3,960,000)
Fiscal Year 2025: ¥2,730,000 (Direct Cost: ¥2,100,000、Indirect Cost: ¥630,000)
Fiscal Year 2024: ¥3,250,000 (Direct Cost: ¥2,500,000、Indirect Cost: ¥750,000)
Fiscal Year 2023: ¥4,680,000 (Direct Cost: ¥3,600,000、Indirect Cost: ¥1,080,000)
Fiscal Year 2022: ¥6,500,000 (Direct Cost: ¥5,000,000、Indirect Cost: ¥1,500,000)
Keywords敵対的攻撃 / 深層学習 / 深層強化学習 / ロバストシステム
Outline of Research at the Start

本研究では,攻撃や外乱に対して深層学習モデルをロバストにするための技術を開発する.とくに,画像・動画認識タスクと深層強化学習によるロボット制御タスクに適用する.画像・動画では,深層学習モデルのロバスト性評価やフーリエ解析を通じて,弱教師有り学習,説明可能AI,マルチモーダル学習への展開を図る.ロボット制御では、多脚ロボットの脆弱性を検証し,オフライン強化学習への展開を含む新たな取り組みでロバスト性を高める.

Outline of Annual Research Achievements

2023年度には、深層学習による画像・動画認識と深層強化学習による歩行ロボット制御に対して、それぞれ次の研究を実施した。
(1)深層学習による画像・動画認識:前年度までに、深層モデルへの敵対的攻撃とそれに基づく敵対的訓練のロバスト性を評価した。本年度では、入力信号の周波数観点から、深層モデルの脆弱性・ロバスト性を分析した。まず、畳み込みニューラルネットワークによる画像分類モデルを周波数解析し、その結果に基づくデータ拡張手法を提案した。この方法は、敵対的摂動や一般的摂動に対してロバスト性を向上させることを実証した。次に、グラフ畳み込みニューラルネットワークによるスケルトン行動認識モデルを周波数解析し、精度劣化を起こす周波数帯域を特定した。さらに、その周波数特性は、敵対的訓練により、変化させることができることを示した。
(2)深層強化学習による多脚ロボット制御タスク:前年度までに、多脚ロボット制御に対する敵対的攻撃に対する脆弱性について検証した。本年度では、敵対的攻撃だけでなくランダム摂動に対する脆弱性も評価した。さらに、敵対的攻撃を加えながら強化学習を行う敵対的データ拡張を提案した。敵対的データ拡張は、最悪ケースを考慮した学習になるため、敵対的攻撃だけでなく、より弱いランダムな摂動に対してもロバストになることが期待される。実験的検証により、多脚ロボットの体型やトルク信号への敵対的・ランダム摂動の両方に対して、提案手法によりロバストになることを示した。

Current Status of Research Progress
Current Status of Research Progress

2: Research has progressed on the whole more than it was originally planned.

Reason

本申請課題で提案する「敵対的デザイン」では、深層システムの性能を劣化させる敵対的な摂動を逆に活用し、深層システムをロバストにする方法論である。このアプローチでは、まず深層システムに対する敵対的摂動を発見することが必要である。前年度までに、深層学習による画像・行動認識および深層強化学習による歩行ロボット制御に対して、敵対的摂動の生成とその脆弱性評価を実施した。本年度では、これら二つの課題に対して、敵対的摂動を活用した訓練方法を提案し、その訓練によって深層モデルのロバスト性が向上することを実証した。さらに、周波数の観点から深層モデルがロバストになることを解析した。以上の進捗は、当初の計画通りであり、本研究は順調に進展している。

Strategy for Future Research Activity

研究は順調に進展しており、今後も同様に研究を推進する。次年度では、説明可能AIやマルチモーダル学習(とくに画像と言語)における敵対的デザインの応用可能性について検討し、研究を多角的に展開する。また、オフライン強化学習への展開も図る。国際会議や論文誌への発表も積極的に進める。

Report

(2 results)
  • 2023 Annual Research Report
  • 2022 Annual Research Report
  • Research Products

    (23 results)

All 2024 2023 2022 Other

All Journal Article (5 results) (of which Peer Reviewed: 5 results,  Open Access: 1 results) Presentation (17 results) (of which Int'l Joint Research: 3 results,  Invited: 1 results) Remarks (1 results)

  • [Journal Article] Fourier analysis on robustness of graph convolutional neural networks for skeleton-based action recognition2024

    • Author(s)
      Tanaka Nariki、Kera Hiroshi、Kawamoto Kazuhiko
    • Journal Title

      Computer Vision and Image Understanding

      Volume: 240 Pages: 103936-103936

    • DOI

      10.1016/j.cviu.2024.103936

    • Related Report
      2023 Annual Research Report
    • Peer Reviewed
  • [Journal Article] Improving zero-shot action recognition using human instruction with text description2023

    • Author(s)
      Wu Nan、Kera Hiroshi、Kawamoto Kazuhiko
    • Journal Title

      Applied Intelligence

      Volume: 53 Issue: 20 Pages: 24142-24156

    • DOI

      10.1007/s10489-023-04808-w

    • Related Report
      2023 Annual Research Report
    • Peer Reviewed
  • [Journal Article] Adversarial joint attacks on legged robots2022

    • Author(s)
      Otomo Takuto、Kera Hiroshi、Kawamoto Kazuhiko
    • Journal Title

      IEEE International Conference on Systems, Man, and Cybernetics

      Volume: - Pages: 676-681

    • DOI

      10.1109/smc53654.2022.9945546

    • Related Report
      2022 Annual Research Report
    • Peer Reviewed
  • [Journal Article] Adversarial Body Shape Search for Legged Robots2022

    • Author(s)
      Azakami Takaaki、Kera Hiroshi、Kawamoto Kazuhiko
    • Journal Title

      IEEE International Conference on Systems, Man, and Cybernetics

      Volume: - Pages: 682-687

    • DOI

      10.1109/smc53654.2022.9945257

    • Related Report
      2022 Annual Research Report
    • Peer Reviewed
  • [Journal Article] Adversarial Bone Length Attack on Action Recognition2022

    • Author(s)
      Tanaka Nariki、Kera Hiroshi、Kawamoto Kazuhiko
    • Journal Title

      Proceedings of the AAAI Conference on Artificial Intelligence

      Volume: 36 Issue: 2 Pages: 2335-2343

    • DOI

      10.1609/aaai.v36i2.20132

    • Related Report
      2022 Annual Research Report
    • Peer Reviewed / Open Access
  • [Presentation] Identifying Important Group of Pixels using Interactions2023

    • Author(s)
      Kosuke Sumiyasu, Kazuhiko Kawamoto, Hiroshi Kera
    • Organizer
      ICCV 2023 Workshop on Uncertainty Quantification for Computer Vision
    • Related Report
      2023 Annual Research Report
    • Int'l Joint Research
  • [Presentation] Low-Quality Image Detection by Hierarchical VAE2023

    • Author(s)
      Tomoyasu Nanaumi, Kazuhiko Kawamoto, Hiroshi Kera
    • Organizer
      ICCV 2023 Workshop on Uncertainty Quantification for Computer Vision
    • Related Report
      2023 Annual Research Report
    • Int'l Joint Research
  • [Presentation] Exploiting Frequency Spectrum of Adversarial Images for General Robustness2023

    • Author(s)
      Chun Yang Tan, Kazuhiko Kawamoto, Hiroshi Kera
    • Organizer
      The 26th Meeting on Image Recognition and Understanding
    • Related Report
      2023 Annual Research Report
  • [Presentation] 画像破損がある場合の分布外検知精度の検証2023

    • Author(s)
      依田一希,川本一彦,計良宥志
    • Organizer
      第26回画像の認識・理解シンポジウム
    • Related Report
      2023 Annual Research Report
  • [Presentation] 四脚歩行ロボット体型に対する敵対的攻撃とランダムノイズに頑健な深層強化学習2023

    • Author(s)
      阿座上剛明,計良宥志,川本一彦
    • Organizer
      人工知能学会全国大会論文集
    • Related Report
      2023 Annual Research Report
  • [Presentation] 四脚アクチュエータに対する敵対的攻撃とランダムノイズに頑健な深層強化学習2023

    • Author(s)
      大友 拓門,計良 宥志,川本 一彦
    • Organizer
      人工知能学会全国大会論文集
    • Related Report
      2023 Annual Research Report
  • [Presentation] 頑健な深層モデルのための敵対的デザイン2023

    • Author(s)
      川本一彦
    • Organizer
      動体計測研究会
    • Related Report
      2022 Annual Research Report
    • Invited
  • [Presentation] Adversarial amplitude swap towards robust image classifiers2022

    • Author(s)
      Chun Yang Tan、Kazuhiko Kawamoto、Hiroshi Kera
    • Organizer
      ECCV 2022 Workshop on Adversarial Robustness in the Real World
    • Related Report
      2022 Annual Research Report
    • Int'l Joint Research
  • [Presentation] 深層強化学習歩行ロボットにおけるアクチュエータの脆弱性診断2022

    • Author(s)
      大友拓門, 計良宥志, 川本一彦
    • Organizer
      第30回インテリジェント・システムシンポジウム
    • Related Report
      2022 Annual Research Report
  • [Presentation] 歩行ロボットの敵対的体型に対するロバストなパーツ設計2022

    • Author(s)
      阿座上剛明, 計良宥志, 川本一彦
    • Organizer
      第30回インテリジェント・システムシンポジウム
    • Related Report
      2022 Annual Research Report
  • [Presentation] 強化学習による不整地での歩行ロボット制御2022

    • Author(s)
      佐々木汐, 計良宥志, 川本一彦
    • Organizer
      第30回インテリジェント・システムシンポジウム
    • Related Report
      2022 Annual Research Report
  • [Presentation] Adversarial amplitude swap towards robust image classifiers2022

    • Author(s)
      Chun Yang Tan, Hiroshi Kera, Kazuhiko Kawamoto
    • Organizer
      第25回画像の認識・理解シンポジウム
    • Related Report
      2022 Annual Research Report
  • [Presentation] 相互作用値を用いた敵対的転移性の評価2022

    • Author(s)
      住安宏介, 川本一彦, 計良宥志
    • Organizer
      第25回画像の認識・理解シンポジウム
    • Related Report
      2022 Annual Research Report
  • [Presentation] 骨の長さの変化のみによる敵対的攻撃2022

    • Author(s)
      田中成樹, 計良宥志, 川本一彦
    • Organizer
      第25回画像の認識・理解シンポジウム
    • Related Report
      2022 Annual Research Report
  • [Presentation] 歩行ロボット学習における敵対的な体型探索2022

    • Author(s)
      阿座上 剛明, 計良 宥志, 川本 一彦
    • Organizer
      人工知能学会全国大会
    • Related Report
      2022 Annual Research Report
  • [Presentation] 歩行ロボット学習における敵対的な関節攻撃2022

    • Author(s)
      大友 拓門, 計良 宥志, 川本 一彦
    • Organizer
      人工知能学会全国大会
    • Related Report
      2022 Annual Research Report
  • [Presentation] ゲーム理論に基づく敵対的転移性の理解2022

    • Author(s)
      住安 宏介, 川本 一彦, 計良 宥志
    • Organizer
      情報処理学会CVIM研究会
    • Related Report
      2022 Annual Research Report
  • [Remarks] スケルトン行動認識のためのフーリエ解析

    • URL

      https://github.com/nntanaka/Fourier-Analysis-for-Skeleton-based-Action-Recognition

    • Related Report
      2023 Annual Research Report

URL: 

Published: 2022-04-19   Modified: 2024-12-25  

Information User Guide FAQ News Terms of Use Attribution of KAKENHI

Powered by NII kakenhi