• Search Research Projects
  • Search Researchers
  • How to Use
  1. Back to project page

2023 Fiscal Year Annual Research Report

プライバシー保護を考慮した深層学習のための学習可能な画像暗号化法の構築

Research Project

Project/Area Number 21H01327
Allocation TypeSingle-year Grants
Research InstitutionTokyo Metropolitan University

Principal Investigator

貴家 仁志  東京都立大学, システムデザイン研究科, 特任教授 (40157110)

Co-Investigator(Kenkyū-buntansha) 今泉 祥子  千葉大学, 大学院情報学研究院, 准教授 (80535013)
塩田 さやか  東京都立大学, システムデザイン研究科, 准教授 (90705039)
Project Period (FY) 2021-04-01 – 2025-03-31
Keywords画像暗号化 / プライバシー保護 / 深層学習
Outline of Annual Research Achievements

本年度は、深層学習への秘密鍵を用いた暗号化法の適用という本研究テーマにおいて、Vision Trasformer及びConvMixerモデルが持つ組込み構造に着目した昨年度の成果に基礎を置き、暗号化法の適用分野のさらなる拡大について研究を進めた。また同時に、これまでの研究によって明確になった解決すべき課題について取り組んだ。理論及び実験の両面から今年度明らかにすることができた実績を、以下にまとめる。
(a) 組込み法に着目した暗号化法の安全性の強化:モデル本来の性能を低下させないこの暗号化の安全法を各種条件下で評価し、さらなる耐性向上を確認することができた。
(b) 暗号化データを用いた連合学習:複数のユーザが自身のデータを直接公開せずに共同でモデル学習を行う連合学習法が注目されている。暗号化データを用いた連合学習法を研究し、新しい連合学習法を提案した。
(c)敵対的事例攻撃に対する耐性効果:入力データに特殊なノイズを加え、モデルを誤誘導する敵対的事例攻撃に対して、暗号化データの使用した対策を研究した。敵対的事例攻撃には種々のタイプがあり、一般にすべてのタイプの攻撃に有効な対策を施す必要がある。本研究では、暗号化を用いたランダムアンサンブルモデルという新しい視点を提案し、その有効性を評価した。
これらの成果の一部を、6編の学術論文及び6編の国際会議論文として出版した。同時に、電子情報通信学会主催のシンポジウムにおいて、、招待講演を行い、最新の研究成果を広く一般に解説した。

Current Status of Research Progress
Current Status of Research Progress

2: Research has progressed on the whole more than it was originally planned.

Reason

研究成果の一部を6編の学術論文及び6編の国際会議論文として発表することができ、研究は 順調に進んでいる。さらに、国際会議でのスペシャルセッションでの講演やシンポジウムでの招待講演を行うことができ、広く本テーマの重要性や最新の研究成果を一般に公開することができた。特に、近年高性能モデルとして注目を集めているVision Trasformer及びConvMixerに焦点をあてた成果は、画像分類タスク以外にも暗号化データを適用することを可能として、かつモデルの性能に影響を与えない暗号化を可能にすることから、多くの研究者から注目されている。さらに今年度は、さらなる攻撃耐性向上、暗号化データを用いた連合学習法への展開、敵対的事例攻撃に対する耐性効果という、学習可能な暗号化の新しい成果をあげることができた。
今年度の成果によって、高い信頼性を持つ深層学習法の構築のための、秘密鍵を用いた暗号化法の適用という着想の正当性を再確認することができた。同時に、今年度の成果によって、より広い関連分野においてこの暗号化法が新しい視点を与えることが期待できる。

Strategy for Future Research Activity

深層学習への秘密鍵を用いた暗号化法の適用という本研究テーマにおいて、Vision Trasformer及びConvMixerモデルが持つ組込み構造に着目したこれまでの成果によって、暗号化法のプライバシー保護の観点からの有効性に加え、その応用分野のさらなる拡大が示された。最終年度である令和6年度は、これまでの成果を総合的に評価を行い、提案法の有効性や適用限界を明確するための考察と、ジャーナル論文を執筆して成果の公開に努める計画である。具体的には、以下の5点を中心に研究を進める。
(a) 組込み法に着目した暗号化法の安全性の強化法に関する論文執筆。
(b) 暗号化データを用いた連合学習法の構築と論文執筆。
(c) 敵対的事例攻撃に対する耐性効果法に関する論文執筆。
(d) 関連研究の再調査と提案法との客観的比較評価。(e) 残された今後の課題の確認  以上の5点の検討方針を実行を通して、4年間の研究成果をまとめ、広く一般に研究成果を公開する。

  • Research Products

    (13 results)

All 2023

All Journal Article (6 results) (of which Peer Reviewed: 6 results,  Open Access: 6 results) Presentation (7 results) (of which Int'l Joint Research: 6 results,  Invited: 1 results)

  • [Journal Article] Effects of JPEG Compression on Vision Transformer Image Classification for Encryption-then-Compression Images2023

    • Author(s)
      Hamano Genki、Imaizumi Shoko、Kiya Hitoshi
    • Journal Title

      Sensors

      Volume: 23 Pages: 3400~3400

    • DOI

      10.3390/s23073400

    • Peer Reviewed / Open Access
  • [Journal Article] Privacy-Preserving Image Classification Using ConvMixer with Adaptative Permutation Matrix and Block-Wise Scrambled Image Encryption2023

    • Author(s)
      Qi Zheng、MaungMaung AprilPyone、Kiya Hitoshi
    • Journal Title

      Journal of Imaging

      Volume: 9 Pages: 85~85

    • DOI

      10.3390/jimaging9040085

    • Peer Reviewed / Open Access
  • [Journal Article] Missing Data Completion of Multi-channel Signals Using Autoencoder for Acoustic Scene Classification2023

    • Author(s)
      Shiroma Yuki、Kinoshita Yuma、Imoto Keisuke、Shiota Sayaka、Ono Nobutaka、Kiya Hitoshi
    • Journal Title

      APSIPA Transactions on Signal and Information Processing

      Volume: 12 Pages: 1~22

    • DOI

      10.1561/116.00000074

    • Peer Reviewed / Open Access
  • [Journal Article] A Jigsaw Puzzle Solver-Based Attack on Image Encryption Using Vision Transformer for Privacy-Preserving DNNs2023

    • Author(s)
      Chuman Tatsuya、Kiya Hitoshi
    • Journal Title

      Information

      Volume: 14 Pages: 311~311

    • DOI

      10.3390/info14060311

    • Peer Reviewed / Open Access
  • [Journal Article] Reversible Data Hiding in Compressible Encrypted Images with Capacity Enhancement2023

    • Author(s)
      Motomura Ryota、Imaizumi Shoko、Kiya Hitoshi
    • Journal Title

      APSIPA Transactions on Signal and Information Processing

      Volume: 12 Pages: 1-23

    • DOI

      10.1561/116.00000014

    • Peer Reviewed / Open Access
  • [Journal Article] Block-Wise Encryption for Reliable Vision Transformer models2023

    • Author(s)
      Hitoshi Kiya, Ryoto Iijima, Teru Nagamori
    • Journal Title

      ECTITransactionsonComputerandInformationTechnology

      Volume: 17 Pages: 409-419

    • DOI

      10.37936/ecti-cit.2023173.253320

    • Peer Reviewed / Open Access
  • [Presentation] A privacy-preserving method using secret key for convolutional neural network-based speech classification2023

    • Author(s)
      Shoko NIWA, Sayaka SHIOTA, Hitoshi KIYA
    • Organizer
      EURASIP European Signal Processing Conference
    • Int'l Joint Research
  • [Presentation] Security Evaluation of Compressible and Learnable Image Encryption Against Jigsaw Puzzle Solver Attacks2023

    • Author(s)
      Tatsuya CHUMAN, Nobutaka ONO, Hitoshi KIYA
    • Organizer
      IEEE Global Conference on Consumer Electronics
    • Int'l Joint Research
  • [Presentation] Effects of Data Hiding on Vision Transformer Classification for Encryption-Then-Compression Images2023

    • Author(s)
      Kosuke ABE, Shoko IMAIZUMI, Hitoshi KIY
    • Organizer
      IEEE Global Conference on Consumer Electronics
    • Int'l Joint Research
  • [Presentation] Enhanced Security With Encrypted Vision Transformer in Federated Learning2023

    • Author(s)
      Rei ASO, Sayaka SHIOTA, Hitoshi KIYA
    • Organizer
      IEEE Global Conference on Consumer Electronics
    • Int'l Joint Research
  • [Presentation] Enhanced Security Against Adversarial Examples Using a Random Ensemble of Encrypted Vision Transformer Models2023

    • Author(s)
      Ryota IIJIMA, Miki TANAKA, Sayaka SHIOTA, Hitoshi KIYA
    • Organizer
      IEEE Global Conference on Consumer Electronics
    • Int'l Joint Research
  • [Presentation] Domain Adaptation for Efficiently Fine-Tuning Vision Transformer with Encrypted Images2023

    • Author(s)
      Teru NAGAMORI, Sayaka SHIOTA, Hitoshi KIYA
    • Organizer
      APSIPA Annual Summit and Conference
    • Int'l Joint Research
  • [Presentation] 人とAIの認知の差異を求めて: プライバシー保護、敵対的事例、連合学習を例にして2023

    • Author(s)
      貴家 仁志
    • Organizer
      電子情報通信学会 PCSJ/IMPS 2023
    • Invited

URL: 

Published: 2024-12-25  

Information User Guide FAQ News Terms of Use Attribution of KAKENHI

Powered by NII kakenhi