Understanding Attack Mechanisms against AI through Causal Structures of Classification and Building Countermeasures

• Project/Area Number: 23H00483
• Research Category: Grant-in-Aid for Scientific Research (A)
• Allocation Type: Single-year Grants
• Section: 一般
• Review Section: Medium-sized Section 61:Human informatics and related fields
• Research Institution: Institute of Science Tokyo
• Principal Investigator: 佐久間 淳 東京科学大学, 情報理工学院, 教授 (90376963)
• Co-Investigator(Kenkyū-buntansha): 清水 昌平 大阪大学, 産業科学研究所, 教授 (10509871) ; 秋本 洋平 筑波大学, システム情報系, 准教授 (20709654) ; 福地 一斗 筑波大学, システム情報系, 助教 (30838090) ; 仙田 涼摩 国立研究開発法人理化学研究所, 革新知能統合研究センター, 特別研究員 (70965574)
• Project Period (FY): 2023-04-01 – 2028-03-31
• Project Status: Granted (Fiscal Year 2025)
• Budget Amount: ¥46,800,000 (Direct Cost: ¥36,000,000、Indirect Cost: ¥10,800,000); Fiscal Year 2025: ¥9,620,000 (Direct Cost: ¥7,400,000、Indirect Cost: ¥2,220,000); Fiscal Year 2024: ¥10,920,000 (Direct Cost: ¥8,400,000、Indirect Cost: ¥2,520,000); Fiscal Year 2023: ¥12,090,000 (Direct Cost: ¥9,300,000、Indirect Cost: ¥2,790,000)
• Keywords: 深層学習 / 機械学習 / 敵対的サンプル / ポイズニング / 因果構造

Outline of Research at the Start

深層学習による画像認識が社会のインフラを構成するような重要なシステムにおける活用が進むにつれ、悪意を持つ攻撃者によって深層学習の与える判断がコントロールされた場合の影響は深刻になる。既存のAIへの攻撃に対する防御戦略の多くは、攻撃者の挙動のモデル化に基づき防御を達成するため、攻撃者が防御戦略についての情報を得た場合、その防御戦略が回避されてしまう。本研究では、認識対象の判断に関する普遍的な因果構造や、攻撃の有無に起因する観測データの生成過程における因果構造の変化など、特定の攻撃戦略に依存しない要因に基づく防御戦略の構築に取り組む。