Optical Architecture Search for Task-Oriented Camera Creation

• Project/Area Number: 22H00529
• Research Category: Grant-in-Aid for Scientific Research (A)
• Allocation Type: Single-year Grants
• Section: 一般
• Review Section: Medium-sized Section 61:Human informatics and related fields
• Research Institution: The University of Tokyo
• Principal Investigator: 鄭 銀強 東京大学, 大学院情報理工学系研究科, 教授 (30756896)
• Co-Investigator(Kenkyū-buntansha): 高谷 剛志 筑波大学, システム情報系, 助教 (90809758)
• Project Period (FY): 2022-04-01 – 2026-03-31
• Project Status: Granted (Fiscal Year 2024)
• Budget Amount: ¥43,160,000 (Direct Cost: ¥33,200,000、Indirect Cost: ¥9,960,000); Fiscal Year 2025: ¥7,020,000 (Direct Cost: ¥5,400,000、Indirect Cost: ¥1,620,000); Fiscal Year 2024: ¥6,370,000 (Direct Cost: ¥4,900,000、Indirect Cost: ¥1,470,000); Fiscal Year 2023: ¥9,360,000 (Direct Cost: ¥7,200,000、Indirect Cost: ¥2,160,000); Fiscal Year 2022: ¥20,410,000 (Direct Cost: ¥15,700,000、Indirect Cost: ¥4,710,000)
• Keywords: コンピュータビジョン / オプティカルアーキテクチャサーチ / カメラ自動設計 / イメージング

Outline of Research at the Start

本研究では，光学的な構造を深層学習の枠組みで最適に設計するためのオプティカルアーキテクチャサーチを確立し，特定のシーン認識・理解タスクに特化したタスク特化カメラを創出する．従来のカメラ光学系や深層学習と異なり、本研究では，ハードウェアとソフトウェアの結合性を高めるため，ハードウェアとして光学情報を符号化する光学的エンコーダを設計し，情報を復号するデコーダはソフトウェアとして実装する．単なるソフトウェアパラメータの最適化でなく，ハードウェアとソフトウェアを一括して，光学的な構造の最適化までを挑戦する。

Outline of Annual Research Achievements

2023年度において、RGB領域を超えた画像強化に研究活動を始めた。具体的に、偏光RGBセンサーのノイズ解析及び学習データベースを構築した。RGBセンサーと比べて、偏光RGBセンサーの特性を初めて発見された。これを基に、画像データを大量に生成し、偏光RGB画像の視認性を向上させ、高品質な偏光RGB画像を得った。実応用に向け、三次元形状復元や鏡面反射成分の分離などのタスクにおいて、強化された偏光RGB画像の有用性も判明した。

さらに、近赤外画像を取り入れ、近赤外及び低照度RGB画像の融合技術に関して既存の研究を超えるアルゴリズムを開発した。特に、監視カメラシステムの特性を考慮し、補助照明用LEDの空間配置に基づいた照明補正アルゴリズムを開発した。後、広く用いられている850nmの補助照明ではなく、視認性を考慮した最適な補助照明スペクトルを設計し、市販LEDを利用したプロトタイプも作成した。これらの成果は、国際会議CVPRやICCVで発表された。

また、2023年度にオプティカルアーキテクチャサーチを用いて画像の脆弱性に関する研究を開拓した。特に、近赤外画像、サーマル画像、及び偏光画像を基にしたさまざまな画像AIアルゴリズムに対する最も効果的な攻撃手段をサイバー空間で設計し、物理空間での実施が可能であることを確認した。これらの脆弱性を掲示することで、画像AIのセキュリティ性に関する研究も期待できる。これらの研究成果は、国際会議AAAI、MM、およびCVPRで採択された。

Current Status of Research Progress

2: Research has progressed on the whole more than it was originally planned.

Reason

今まではRGB画像およびイメージング装置の最適化を中心に展開してきた。2023年度では、RGB領域を超えた様々な研究活動を始めた。さらに、視認性向上だけでなく、オプティカルアーキテクチャサーチを用いて画像の脆弱性に関する研究を開拓した。以上に基づいて、本研究は順調に進んでいると考えられる。

Strategy for Future Research Activity

2024年度には、低照度環境での高階調イメージングを目指し、フィルタアレイの最適設計を展開する予定です。特に、三原色のフィルターだけでなく、補色フィルターや近赤外フィルターも対象として導入し、高感度と高階調の両立を目指している。

さらに、RGB領域を超えた遠赤外やテラヘルツ領域においてフィルターやレンズの自動設計に着手する。例えば、現在の遠赤外線イメージングでは、センサーの露光時間（積分時間）が非常に短く、レンズの開口は大きくなっている。これにより、レンズの大きさや重さが増加している。レンズの小型化を実現するため、レンズの開口と画像強化処理を同時に進め、最適なレンズをオプティカルアーキテクチャサーチで見つけ出す計画です。

Research Products

• [Int'l Joint Research] Australian National University(オーストラリア)
• [Journal Article] Real-World Video Deblurring: A Benchmark Dataset and an Efficient Recurrent Neural Network (2023)
  • Author(s): Zhihang Zhong, Ye Gao, Yinqiang Zheng, Bo Zheng, Imari Sato
  • Journal Title: International Journal of Computer Vision Volume: 131 Issue: 1 Pages: 284-301
  • DOI: 10.1007/s11263-022-01705-6
  • Peer Reviewed
• [Presentation] Fooling Polarization-based Vision using Locally Controllable Polarizing Projection (2024)
  • Author(s): Zhuoxiao Li, Zhihang Zhong, Shohei Nobuhara, Ko Nishino, Yinqiang Zheng
  • Organizer: IEEE Conference on Computer Vision and Pattern Recognition
  • Int'l Joint Research
• [Presentation] Polarized Color Image Denoising (2023)
  • Author(s): Zhuoxiao Li, Haiyang Jiang, Mingdeng Cao, Yinqiang Zheng
  • Organizer: IEEE Conference on Computer Vision and Pattern Recognition
  • Int'l Joint Research
• [Presentation] Visibility Constrained Wide-Band Illumination Spectrum Design for Seeing-in-the-Dark (2023)
  • Author(s): Muyao Niu, Zhuoxiao Li, Zhihang Zhong, Yinqiang Zheng
  • Organizer: IEEE Conference on Computer Vision and Pattern Recognition
  • Int'l Joint Research
• [Presentation] NIR-assisted Video Enhancement via Unpaired 24-hour Data (2023)
  • Author(s): Muyao Niu, Zhihang Zhong, Yinqiang Zheng
  • Organizer: IEEE International Conference on Computer Vision
  • Int'l Joint Research
• [Presentation] Physics-Based Adversarial Attack on Near-Infrared Human Detector for Nighttime Surveillance Camera Systems (2023)
  • Author(s): Muyao Niu, Zhuoxiao Li, Yifan Zhan, Huy H. Nguyen, Isao Echizen, Yinqiang Zheng
  • Organizer: ACM Conference on Multimedia
  • Int'l Joint Research
• [Presentation] Optimal LED Spectral Multiplexing for NIR2RGB Translation (2022)
  • Author(s): Lei Liu, Yuze Chen, Junchi Yan, Yinqiang Zheng
  • Organizer: IEEE International Conference on Computer Vision and Pattern Recognition
  • Int'l Joint Research
• [Presentation] Learning Adaptive Warping for RealWorld Rolling Shutter Correction (2022)
  • Author(s): Mingdeng Cao, Zhihang Zhong, Jiahao Wang, Yinqiang Zheng, Yujiu Yang
  • Organizer: IEEE International Conference on Computer Vision and Pattern Recognition
  • Int'l Joint Research
• [Presentation] Neural Global Shutter: Learn to Restore Video from a Rolling Shutter Camera with Global Reset Feature (2022)
  • Author(s): Zhixiang Wang, Xiang Ji, Jia-Bin Huang, Shin'ichi Satoh, Xiao Zhou, Yinqiang Zheng
  • Organizer: IEEE International Conference on Computer Vision and Pattern Recognition
  • Int'l Joint Research
• [Presentation] Bringing Rolling Shutter Images Alive with Dual Reversed Distortion (2022)
  • Author(s): Zhihang Zhong, Mingdeng Cao, Xiao Sun, Zhirong Wu, Zhongyi Zhou, Yinqiang Zheng, Stephen Lin, Imari Sato
  • Organizer: European Conference on Computer Vision
  • Int'l Joint Research
• [Presentation] Efficient Video Deblurring Guided by Motion Magnitude (2022)
  • Author(s): Yusheng Wang, Yunfan Lu, Ye Gao, Lin Wang, Zhihang Zhong, Yinqiang Zheng, Atsushi Yamashita
  • Organizer: European Conference on Computer Vision
  • Int'l Joint Research
• [Presentation] Animation from Blur: Multi-modal Blur Decomposition with Motion Guidance. (2022)
  • Author(s): Zhihang Zhong, Xiao Sun, Zhirong Wu, Yinqiang Zheng, Stephen Lin, Imari Sato
  • Organizer: European Conference on Computer Vision
  • Int'l Joint Research
• [Presentation] Event-guided Video Clip Generation from Blurry Images (2022)
  • Author(s): Xin Ding, Tsuyoshi Takatani, Zhongyuan Wang, Ying Fu, Yinqiang Zheng
  • Organizer: ACM International Conference on Multimedia
  • Int'l Joint Research
• [Presentation] Diffeomorphic Neural Surface Parameterization for 3D and Reflectance Acquisition (2022)
  • Author(s): Ziang Cheng, Hongdong Li, Richard Hartley, Yinqiang Zheng, Imari Sato
  • Organizer: Special Interest Group on Computer Graphics and Interactive Techniques (Siggraph)
  • Int'l Joint Research