2020 Fiscal Year Research-status Report
暗号カメラと暗号画像認識によるセンサレベルビジュアルプライバシー保護
| Project/Area Number |
20K20628
|
|---|
| Research Institution | Osaka University |
|---|
Principal Investigator |
長原 一 大阪大学, データビリティフロンティア機構, 教授 (80362648)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
香川 景一郎 静岡大学, 電子工学研究所, 教授 (30335484)
日浦 慎作 兵庫県立大学, 工学研究科, 教授 (40314405)
|
|---|
| Project Period (FY) |
2020-07-30 – 2024-03-31
|
| Keywords | コンピュテーショナルフォトグラフィ / プライバシー |
|---|
| Outline of Annual Research Achievements |
Society5.0社会実現が叫ばれる中、ビッグデータ活用はサイバースペースにとどまらず、実世界でのユーザの行動履歴をカメラなどで取得し、活用することが期待されている。現在、携帯電話やスマートスピーカなどの様々なIoT機器はカメラを搭載し、深層学習による画像認識の精度が向上したことから、このような実世界情報のセンシングや活用が現実味を帯びてきている。一方で、カメラで人を観測することでのプライバシー問題も社会問題化している。本研究ではセンサ(撮像素子)上の光学像そのものをスクランブルする暗号カメラを提案する。センサでのサンプリング前にシーンを第三者に理解できない形へ光学的にスクランブル化し，符号化読み出しを行うことで、画像がデジタル化される前のセンサレベルでのビジュアルプライバシー保護を実現する。また、暗号カメラで撮影された暗号画像から復元を介さず、直接認識する新たな画像認識フレームワーク「暗号画像認識」を提案し、そのモデルや学習手法についての研究をおこなう。これまでのカメラは、レンズにより像をセンサ面に集光し、ぼけのない画像輝度を均一な矩形配置の画素でサンプリングすることを前提に設計されてきた。本研究で提案する暗号カメラは、レンズを用いず光学マスクによりスクランブルし、ランダムや加算読み出しをおこなうことから、従来のインパルスサンプリングやナイキストサンプリングとは全く異なる新たなセンシングアプローチの提案であると言える。さらには、従来の暗号化は、デジタル化されたものを前提としてきたが、光学系や電子回路を用いたアナログ的暗号化を行う点も斬新である。さらには、画像をデジタル化する前に暗号化するセンサレベルのプライバシー保護を提案している点が、これまでなかった画期的な点である。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
本年度は、本研究アイデアの基本コンセプトの確認として、マスクベースのレンズレスカメラを用いた個人認証の実証を行った。レンズレスカメラのマスクパターンをコンボリューショナルニューラルネット(CNN)でモデル化し、エンコーダーとして実装した。また、デコーダには従来の個人認証用のネットワーク構造を用いて、画像撮像モデルと個人認識モデルをニューラルネットワークで実装した。このネットワークを公開されている顔画像データセット(MS Celebなど)を用いてEnd-to-endで学習することで個人認識モデルのみならず、個人認証に最適化されたマスクパターンを得た。この最適化パターンと識別モデルを用いて、シミュレーション実験を行うことで、提案手法の原理実証を行った。また、液晶ディスプレイを用いた、マスクベースのプロトタイプのレンズレスカメラを構築した。このプロトタイプカメラを用いて、実機においても提案手法が実現可能であることを示した。
|
| Strategy for Future Research Activity |
本年度において、マスクパターンを個人認証の認識率をコストとして最適化を行った。しかしながら、レンズレスカメラであっても、最適化パターンが必ずしもプライバシー保護に効いているとは保証されない。来年度以降は、さらにプライバシーコストを定義し、それを同時最大化することで認識器による個人認証を保ちつつ、撮影画像の見た目のプライバシー保護を両立するネットワークモデルに拡張する。さらには、マスクのパターンによる光学的符号化だけではなく、電子回路による画像読み出しの符号化、AD変換器による量子化の符号化を組み合わせることで、さらなるハードウェアによる符号化手法に関しての検討を行う。
|
| Causes of Carryover |
コロナウイルス蔓延の影響により、予定していた出張や打ち合わせなどがキャンセルとなった。また、大学への出入りや研究なども制限されたため、研究やそれにともなう購入の予定が変更になった。前年度，予定していた機器に関しては，本年度に購入する予定である．
|
