Model Inversion Attacks Revealing Training Data of Image Generation AI: Risk Quantification and Defense Method Development

• Project/Area Number: 25K03121
• Research Category: Grant-in-Aid for Scientific Research (B)
• Allocation Type: Multi-year Fund
• Section: 一般
• Review Section: Basic Section 60070:Information security-related
• Research Institution: Tokyo University of Science
• Principal Investigator: 中村 和晃 東京理科大学, 工学部情報工学科, 准教授 (10584047)
• Project Period (FY): 2025-04-01 – 2030-03-31
• Project Status: Granted (Fiscal Year 2025)
• Budget Amount: ¥15,210,000 (Direct Cost: ¥11,700,000、Indirect Cost: ¥3,510,000); Fiscal Year 2029: ¥1,690,000 (Direct Cost: ¥1,300,000、Indirect Cost: ¥390,000); Fiscal Year 2028: ¥1,820,000 (Direct Cost: ¥1,400,000、Indirect Cost: ¥420,000); Fiscal Year 2027: ¥4,420,000 (Direct Cost: ¥3,400,000、Indirect Cost: ¥1,020,000); Fiscal Year 2026: ¥3,770,000 (Direct Cost: ¥2,900,000、Indirect Cost: ¥870,000); Fiscal Year 2025: ¥3,510,000 (Direct Cost: ¥2,700,000、Indirect Cost: ¥810,000)
• Keywords: AIセキュリティ / モデル反転攻撃 / 画像生成 / データ保護 / AIアクセス制御

Outline of Research at the Start

生成AIは大量のデータに基づいて構築される．では，その構築に際し使用されたデータ（訓練データ）がAI自身から復元され流出することは起こり得るか？ これは，データ保護の観点において重大な問いであるにもかかわらず，その答えが出されないまま技術開発のみが先行している．本研究では，生成AIの例として画像生成AIを取り上げ，それに対し「モデル反転攻撃」と呼ばれる攻撃を仕掛けることにより訓練データが本当に復元可能か否かを検証する．その上でさらに，本攻撃に対する防御法として，真の訓練データとは異なるデータが復元されるように攻撃結果を誘導する手法，及び，攻撃目的でのAIアクセス自体を制限する手法を開発する．