暗号カメラと暗号画像認識によるセンサレベルビジュアルプライバシー保護

• Project/Area Number: 20K20628
• Research Category: Grant-in-Aid for Challenging Research (Pioneering)
• Allocation Type: Multi-year Fund
• Review Section: Medium-sized Section 61:Human informatics and related fields
• Research Institution: Osaka University
• Principal Investigator: 長原 一 大阪大学, データビリティフロンティア機構, 教授 (80362648)
• Co-Investigator(Kenkyū-buntansha): 香川 景一郎 静岡大学, 電子工学研究所, 教授 (30335484) ; 日浦 慎作 兵庫県立大学, 工学研究科, 教授 (40314405)
• Project Period (FY): 2020-07-30 – 2025-03-31
• Project Status: Granted (Fiscal Year 2023)
• Budget Amount: ¥25,740,000 (Direct Cost: ¥19,800,000、Indirect Cost: ¥5,940,000); Fiscal Year 2023: ¥6,240,000 (Direct Cost: ¥4,800,000、Indirect Cost: ¥1,440,000); Fiscal Year 2022: ¥6,500,000 (Direct Cost: ¥5,000,000、Indirect Cost: ¥1,500,000); Fiscal Year 2021: ¥6,500,000 (Direct Cost: ¥5,000,000、Indirect Cost: ¥1,500,000); Fiscal Year 2020: ¥6,500,000 (Direct Cost: ¥5,000,000、Indirect Cost: ¥1,500,000)
• Keywords: コンピュテーショナルフォトグラフィ / ディープオプティクス / プライバシー / プライバシ

Outline of Research at the Start

カメラで人を観測することでのプライバシー問題が社会問題化している。本研究ではセンサ上の光学像そのものをスクランブルする暗号カメラを提案する。センサでのサンプリング前にシーンを第三者に理解できない形へ光学的にスクランブル化し、符号化読み出しを行うことで、画像がデジタル化される前のセンサレベルでのビジュアルプライバシー保護を実現する。また、暗号カメラで撮影された暗号画像から復元を介さず、直接認識する新たな画像認識フレームワーク「暗号画像認識」を提案し、そのモデルや学習手法についての研究を行う。

Outline of Annual Research Achievements

Society5.0社会実現が叫ばれる中、ビッグデータ活用はサイバースペースにとどまらず、実世界でのユーザの行動履歴をカメラなどで取得し、活用することが期待されている。現在、携帯電話やスマートスピーカなどの様々なIoT機器はカメラを搭載し、深層学習による画像認識の精度が向上したことから、このような実世界情報のセンシングや活用が現実味を帯びてきている。一方で、カメラで人を観測することでのプライバシー問題も社会問題化している。本研究ではセンサ(撮像素子)上の光学像そのものをスクランブルする暗号カメラを提案する。センサでのサンプリング前にシーンを第三者に理解できない形へ光学的にスクランブル化し，符号化読み出しを行うことで、画像がデジタル化される前のセンサレベルでのビジュアルプライバシー保護を実現する。また、暗号カメラで撮影された暗号画像から復元を介さず、直接認識する新たな画像認識フレームワーク「暗号画像認識」を提案し、そのモデルや学習手法についての研究をおこなう。これまでのカメラは、レンズにより像をセンサ面に集光し、ぼけのない画像輝度を均一な矩形配置の画素でサンプリングすることを前提に設計されてきた。本研究で提案する暗号カメラは、レンズを用いず光学マスクによりスクランブルし、ランダムや加算読み出しをおこなうことから、従来のインパルスサンプリングやナイキストサンプリングとは全く異なる新たなセンシングアプローチの提案であると言える。さらには、従来の暗号化は、デジタル化されたものを前提としてきたが、光学系や電子回路を用いたアナログ的暗号化を行う点も斬新である。さらには、画像をデジタル化する前に暗号化するセンサレベルのプライバシー保護を提案している点が、これまでなかった画期的な点である。

Current Status of Research Progress

2: Research has progressed on the whole more than it was originally planned.

Reason

光学系のシミュレーションにより生成したボケた画像を用いたアクション認識を行い，ボケと認識の新たなトレードオフを実現することを実証した．本年度は，これをハードウェアに組み込み実画像にて検証をおこなう．

Strategy for Future Research Activity

前年度に行った光学シミュレーションの結果をもとにレンズや光学系を設計し，実際にボケた画像を撮影する光学系を構築する．この光学系を用いて実シーンを撮影して，実際にシミュレーションと同様の結果が得られるかの検証を行う．これらを論文としてまとめて，国際会議にて発表を行う．

Research Products

• [Journal Article] A Coded Aperture as a Key for Information Hiding Designed by Physics-in-the-Loop Optimization (2024)
  • Author(s): MINAMATA Tomoki、HAMASAKI Hiroki、KAWASAKI Hiroshi、NAGAHARA Hajime、ONO Satoshi
  • Journal Title: IEICE Transactions on Information and Systems Volume: E107.D Issue: 1 Pages: 29-38
  • DOI: 10.1587/transinf.2023MUP0003
  • ISSN: 0916-8532, 1745-1361
  • Year and Date: 2024-01-01
  • Peer Reviewed / Open Access
• [Journal Article] Deep Sensing for Compressive Video Acquisition (2023)
  • Author(s): Yoshida Michitaka、Torii Akihiko、Okutomi Masatoshi、Taniguchi Rin-ichiro、Nagahara Hajime、Yagi Yasushi
  • Journal Title: Sensors Volume: 23 Issue: 17 Pages: 7535-7535
  • DOI: 10.3390/s23177535
  • Peer Reviewed / Open Access
• [Journal Article] Human-Imperceptible Identification With Learnable Lensless Imaging (2023)
  • Author(s): Canh Thuong Nguyen、Ngo Trung Thanh、Nagahara Hajime
  • Journal Title: IEEE Access Volume: 11 Pages: 95724-95733
  • DOI: 10.1109/access.2023.3308069
• [Journal Article] Action Recognition From a Single Coded Image (2022)
  • Author(s): Kumawat Sudhakar、Okawara Tadashi、Yoshida Michitaka、Nagahara Hajime、Yagi Yasushi
  • Journal Title: IEEE Transactions on Pattern Analysis and Machine Intelligence Volume: 1 Pages: 1-14
  • DOI: 10.1109/tpami.2022.3196350
  • NAID: 40022155486
• [Presentation] 符号化開口を鍵として用いる視覚的情報秘匿方式 (2024)
  • Author(s): 横川優, 太田和宏, 水俣友希, 川崎洋, 長原一, 小野智司
  • Organizer: 情報処理学会全国大会
• [Presentation] 進化型多目的最適化を用いた視覚的情報秘匿用の符号化開口の設計 (2024)
  • Author(s): 横川優, 太田和宏, 水俣友希, 川崎洋, 長原一, 小野智司
  • Organizer: 人工知能学会全国大会
• [Presentation] Privacy-Preserving Action Recognition via Motion Difference Quantization (2022)
  • Author(s): Sudhakar Kumawat, Hajime Nagahara
  • Organizer: European Conference on Computer Vision
  • Int'l Joint Research
• [Presentation] Deep sensing - Jointly optimize imaging and processing - (2022)
  • Author(s): Hajime Nagahara
  • Organizer: International Workshop on Image Sensors and Imaging Systems
  • Int'l Joint Research / Invited
• [Presentation] Coded Exposure Imaging System for Crack Inspection (2022)
  • Author(s): Yasuhito Hashiba, Keita Mochizuki, Emiko Sano, Shigeru Takushima, Hiroyuki Kawano, Hajime Nagahara
  • Organizer: International Conference on Optics-photonics Design & Fabrication
  • Int'l Joint Research
• [Presentation] コンピュテーショナルフォトグラフィ-画像計測と処理の同時最適化とバイオイメージングの可能性 (2022)
  • Author(s): 長原 一
  • Organizer: CREST「情報計測」班会議特別講演
  • Invited
• [Presentation] XY画素アドレスを用いた圧縮ビデオイメージセンサ (2021)
  • Author(s): 宮崎 袈, 渡邉晃平, 吉田道隆, 安富啓太, 川人祥二, 長原 一, 香川景一郎
  • Organizer: 映情学技報
• [Presentation] パターン照明顕微鏡による微細な半透明物体の計測 (2021)
  • Author(s): 福森悠真, 日浦慎作
  • Organizer: 情報処理学会研究報告コンピュータビジョンとイメージメディア
• [Presentation] 厚さに依存しない半透明物体の透過率計測に関する検討 (2021)
  • Author(s): 村松祐渡, 日浦慎作
  • Organizer: 情報処理学会研究報告コンピュータビジョンとイメージメディア
• [Presentation] 符号化開口を鍵とする情報秘匿方式の改良 (2021)
  • Author(s): 水俣友希, 石田祥馬, 濱崎弘樹, 川崎洋, 長原一, 小野智司
  • Organizer: 画像の認識・理解シンポジウム
• [Presentation] Deep sensing (2021)
  • Author(s): Hajime Nagahara
  • Organizer: International workshop of display
  • Int'l Joint Research / Invited
• [Presentation] Information Hiding Using a Coded Aperture as a Key (2021)
  • Author(s): Tomoki Minamata, Shoma Ishida, Hiroki Hamasaki, Hiroshi Kawasaki, Hajime Nagahara, Satoshi Ono
  • Organizer: International Conference on Machine Vision Applications
  • Int'l Joint Research
• [Remarks] コンピュテーショナルフォトグラフィ
  • URL: https://www.is.ids.osaka-u.ac.jp/en/topics/cp/
• [Patent(Industrial Property Rights)] カメラおよびイメージングシステム (2020)
  • Inventor(s): 長原一、グエンカイン トゥオン
  • Industrial Property Rights Holder: 大阪大学
  • Industrial Property Rights Type: 特許
  • Filing Date: 2020
  • Overseas