• Search Research Projects
  • Search Researchers
  • How to Use
  1. Back to project page

2022 Fiscal Year Annual Research Report

プライバシー保護を考慮した深層学習のための学習可能な画像暗号化法の構築

Research Project

Project/Area Number 21H01327
Allocation TypeSingle-year Grants
Research InstitutionTokyo Metropolitan University

Principal Investigator

貴家 仁志  東京都立大学, システムデザイン研究科, 教授 (40157110)

Co-Investigator(Kenkyū-buntansha) 塩田 さやか  東京都立大学, システムデザイン研究科, 助教 (90705039)
今泉 祥子  千葉大学, 大学院工学研究院, 准教授 (80535013)
Project Period (FY) 2021-04-01 – 2025-03-31
Keywords画像暗号化 / プライバシー保護 / 深層学習
Outline of Annual Research Achievements

研究開始2年目である本年度は、暗号化データを深層学習に適用することを前提にして、画像、音声データ及び各種学習済みモデルの暗号化の方法について広く研究を行った。特に、近年高性能モデルとして注目を集めているVision Trasformer及びConvMixerに焦点をあて、それらのモデルが持つ組込み構造と高い親和性を有する暗号化法を提案した。さらに提案法に対して種々の条件下で評価・検証実験を行い、提案法の有効性と今後解決すべき課題について明らかにした。
理論及び実験の両面から今年度明らかにすることができた実績を、以下にまとめる。
(a) モデルの組込み構造を利用することによって、モデルの性能を低下させることなく、すなわち暗号化の性能への影響を回避した形式で、暗号化したデータをモデルに直接適用可能な方法を提案した。
(b) 提案法は、画像分類タスクに限らず、画像の物体検出やセマンテックセグメンテーションなどの他の応用、さらに音声データへの展開も可能であることを確認した。
(c) 提案法は、データのプライバシー保護、モデル保護には有効であるが、敵対的事例に対する防除に対しては現時点では有効性が限定されることを確認した。
これらの成果の一部を、8編の学術論文及び10編の国際会議論文として出版した。同時に、国際会議APSIPA ASC 2022において、スペシャルセッションを企画し、本テーマの重要性を広く広報した。さらに、国内外の会議において、基調講演及び招待講演(計3回)を行い、最新の研究成果を広く一般に解説した。

Current Status of Research Progress
Current Status of Research Progress

1: Research has progressed more than it was originally planned.

Reason

研究成果の一部を8編の学術論文、10編の国際会議論文として掲載することができ、研究は順調に進んでいる。さらに、国際会議でのスペシャルセッションの企画、基調講演及び招待講演を行うことができ、広く本テーマの重要性や最新の研究成果を公開することができた。特に、近年高性能モデルとして注目を集めているVision Trasformer及びConvMixerに焦点をあてた成果は、画像分類タスク以外にも暗号化データを適用することを可能として、かつモデルの性能に影響を与えない暗号化を可能にすることから、多くの研究者から注目されている。
今年度の成果によって、高い信頼性を持つ深層学習法の構築にための、秘密鍵を用いた暗号化法の適用という着想の正当性を確認することができた。同時に、今年度の成果によって、より広く応用分野でのこの暗号化法の適用を可能とすることが期待される。

Strategy for Future Research Activity

深層学習への秘密鍵を用いた暗号化法の適用という本研究テーマは、Vision Trasformer及びConvMixerモデルが持つ組込み構造に着目した本年度の成果によって、暗号化法の適用分野のさらなる拡大が期待される。また同時に、残され解決すべき課題も明確になった。今後の研究を、それらを考慮して進める予定である。具体的には、以下の3点を中心に研究を進める。
(a) 組込み法に着目した暗号化法の安全性の強化:モデル本来の性能を低下させないこの暗号化の安全法を各種条件下で評価し、さらなる耐性向上を目指す。
(b) 暗号化データを用いた連合学習:複数のユーザが自身のデータを直接公開せずに共同でモデル学習を行う連合学習法が注目されている。しかし、従来の連合学習法ではテストデータの保護ができない。暗号化データを用いた連合学習法を研究し、新しい連合学習法を開発する。
(c)敵対的事例攻撃に対する耐性効果:暗号化データの使用は、データのプライバシー保護に加え、敵対的事例攻撃に有効であることが知られている。しかし、組込み法に着目した暗号化法は、この応用には有効ではない。敵対的事例攻撃に対して有効な新しい暗号化法の可能性を調査する。

  • Research Products

    (23 results)

All 2023 2022

All Journal Article (8 results) (of which Int'l Joint Research: 2 results,  Peer Reviewed: 8 results,  Open Access: 5 results) Presentation (15 results) (of which Int'l Joint Research: 13 results,  Invited: 3 results)

  • [Journal Article] Effects of JPEG Compression on Vision Transformer Image Classification for Encryption-then-Compression Images2023

    • Author(s)
      Hamano Genki、Imaizumi Shoko、Kiya Hitoshi
    • Journal Title

      Sensors

      Volume: 23 Pages: 3400~3400

    • DOI

      10.3390/s23073400

    • Peer Reviewed / Open Access
  • [Journal Article] Image and Model Transformation with Secret Key for Vision Transformer2023

    • Author(s)
      KIYA Hitoshi、IIJIMA Ryota、MAUNGMAUNG Aprilpyone、KINOSHITA Yuma
    • Journal Title

      IEICE Transactions on Information and Systems

      Volume: E106.D Pages: 2~11

    • DOI

      10.1587/transinf.2022MUI0001

    • Peer Reviewed
  • [Journal Article] Access Control with Encrypted Feature Maps for Object Detection Models2023

    • Author(s)
      NAGAMORI Teru、ITO Hiroki、MAUNGMAUNG AprilPyone、KIYA Hitoshi
    • Journal Title

      IEICE Transactions on Information and Systems

      Volume: E106.D Pages: 12~21

    • DOI

      10.1587/transinf.2022MUP0002

    • Peer Reviewed
  • [Journal Article] Privacy-Preserving Image Classification Using an Isotropic Network2022

    • Author(s)
      AprilPyone MaungMaung、Kiya Hitoshi
    • Journal Title

      IEEE MultiMedia

      Volume: 29 Pages: 23~33

    • DOI

      10.1109/MMUL.2022.3168441

    • Peer Reviewed
  • [Journal Article] An Overview of Compressible and Learnable Image Transformation with Secret Key and its Applications2022

    • Author(s)
      Kiya Hitoshi、Maung April Pyone Maung、Kinoshita Yuma、Imaizumi Shoko、Shiota Sayaka
    • Journal Title

      APSIPA Transactions on Signal and Information Processing

      Volume: 11 Pages: e11

    • DOI

      10.1561/116.00000048

    • Peer Reviewed / Open Access / Int'l Joint Research
  • [Journal Article] Access Control of Semantic Segmentation Models Using Encrypted Feature Maps2022

    • Author(s)
      Ito Hiroki、AprilPyone MaungMaung、Shiota Sayaka、Kiya Hitoshi
    • Journal Title

      APSIPA Transactions on Signal and Information Processing

      Volume: 11 Pages: e24

    • DOI

      10.1561/116.00000013

    • Peer Reviewed / Open Access / Int'l Joint Research
  • [Journal Article] Privacy-Preserving Semantic Segmentation Using Vision Transformer2022

    • Author(s)
      Kiya Hitoshi、Nagamori Teru、Imaizumi Shoko、Shiota Sayaka
    • Journal Title

      Journal of Imaging

      Volume: 8 Pages: 233~233

    • DOI

      10.3390/jimaging8090233

    • Peer Reviewed / Open Access
  • [Journal Article] A Reversible Data-Hiding Method with Prediction-Error Expansion in Compressible Encrypted Images2022

    • Author(s)
      Motomura Ryota、Imaizumi Shoko、Kiya Hitoshi
    • Journal Title

      Applied Sciences

      Volume: 12 Pages: 9418~9418

    • DOI

      10.3390/app12199418

    • Peer Reviewed / Open Access
  • [Presentation] 信頼できるAIのための乱数を用いた画像変換2023

    • Author(s)
      貴家仁志
    • Organizer
      電子情報通信学会エンリッチメント研究会
    • Invited
  • [Presentation] Progress and Challenges in Learnable Image Encryption with Secret Key for Reliable Deep Learning2023

    • Author(s)
      Hitoshi Kiya
    • Organizer
      15th International Conference on Knowledge and Smart Technology
    • Int'l Joint Research / Invited
  • [Presentation] A Jigsaw Puzzle Solver-based Attack on Block-wise Image Encryption for Privacy-preserving DNNs2023

    • Author(s)
      Tatsuya CHUMAN, Hitoshi KIYA
    • Organizer
      International Workshop on Advanced Image Technology
    • Int'l Joint Research
  • [Presentation] Combined Use of Federated Learning and Image Encryption for Privacy-Preserving Image Classification with Vision Transformer2023

    • Author(s)
      Teru NAGAMORI, Hitoshi KIYA
    • Organizer
      RISP International Workshop on Nonlinear Circuits, Communications and Signal Processing
    • Int'l Joint Research
  • [Presentation] Color-NeuraCrypt: Privacy-Preserving Color-Image Classification Using Extended Random Neural Networks2023

    • Author(s)
      Zheng QI, April Pyone MAUNG MAUNG, Hitoshi KIYA
    • Organizer
      RISP International Workshop on Nonlinear Circuits, Communications and Signal Processing
    • Int'l Joint Research
  • [Presentation] A Privacy Preserving Method with a Random Orthogonal Matrix for ConvMixer Models2023

    • Author(s)
      Rei ASO, Tatsuya CHUMAN, Hitoshi KIYA
    • Organizer
      RISP International Workshop on Nonlinear Circuits, Communications and Signal Processing
    • Int'l Joint Research
  • [Presentation] 真実の可視化を操作する:AIを騙す,データ・AIを守る2022

    • Author(s)
      貴家仁志
    • Organizer
      電子情報通信学会信号処理シンポジウム
    • Invited
  • [Presentation] Privacy-Preserving Image Classification Using Vision Transformer2022

    • Author(s)
      Zheng QI, April Pyone MAUNG MAUNG, Yuma KINOSHITA, Hitoshi KIYA
    • Organizer
      EURASIP European Signal Processing Conference
    • Int'l Joint Research
  • [Presentation] An Access Control Method with Secret Key for Semantic Segmentation Models2022

    • Author(s)
      Teru NAGAMORI, Ryota IIJIMA, Hitoshi KIYA
    • Organizer
      International Conference on Machine Learning and Cybernetics
    • Int'l Joint Research
  • [Presentation] An Encryption Method of ConvMixer Models without Performance Degradation2022

    • Author(s)
      Ryota IIJIMA, Hitoshi KIYA
    • Organizer
      International Conference on Machine Learning and Cybernetics
    • Int'l Joint Research
  • [Presentation] SECURITY EVALUATION OF COMPRESSIBLE IMAGE ENCRYPTION FOR PRIVACY-PRESERVING IMAGE CLASSIFICATION AGAINST CIPHERTEXT-ONLY ATTACKS2022

    • Author(s)
      Tatsuya CHUMAN, Hitoshi KIYA
    • Organizer
      International Conference on Machine Learning and Cybernetics
    • Int'l Joint Research
  • [Presentation] Privacy-Preserving Image Classification Using ConvMixer with Adaptive Permutation Matrix2022

    • Author(s)
      Zheng QI, April Pyone MAUNG MAUNG, Hitoshi KIYA
    • Organizer
      IEEE Global Conference on Consumer Electronics
    • Int'l Joint Research
  • [Presentation] StyleGAN Encoder-Based Attack for Block Scrambled Face Images2022

    • Author(s)
      April Pyone MAUNG MAUNG, Hitoshi KIYA
    • Organizer
      APSIPA Annual Summit and Conference
    • Int'l Joint Research
  • [Presentation] On the Transferability of Adversarial Examples between Encrypted Models2022

    • Author(s)
      Miki TANAKA, Isao ECHIZEN, Hitoshi KIYA
    • Organizer
      APSIPA Annual Summit and Conference
    • Int'l Joint Research
  • [Presentation] On the Transferability of Adversarial Examples between Encrypted Models2022

    • Author(s)
      Miki TANAKA, Isao ECHIZEN, Hitoshi KIYA
    • Organizer
      IEEE International Symposium on Intelligent Signal Processing and Communication Systems
    • Int'l Joint Research

URL: 

Published: 2023-12-25  

Information User Guide FAQ News Terms of Use Attribution of KAKENHI

Powered by NII kakenhi