Optical Architecture Search for Task-Oriented Camera Creation

• Project/Area Number: 22H00529
• Research Category: Grant-in-Aid for Scientific Research (A)
• Allocation Type: Single-year Grants
• Section: 一般
• Review Section: Medium-sized Section 61:Human informatics and related fields
• Research Institution: The University of Tokyo
• Principal Investigator: 鄭 銀強 東京大学, 大学院情報理工学系研究科, 教授 (30756896)
• Co-Investigator(Kenkyū-buntansha): 高谷 剛志 筑波大学, システム情報系, 助教 (90809758)
• Project Period (FY): 2022-04-01 – 2026-03-31
• Project Status: Granted (Fiscal Year 2025)
• Budget Amount: ¥43,160,000 (Direct Cost: ¥33,200,000、Indirect Cost: ¥9,960,000); Fiscal Year 2025: ¥7,020,000 (Direct Cost: ¥5,400,000、Indirect Cost: ¥1,620,000); Fiscal Year 2024: ¥6,370,000 (Direct Cost: ¥4,900,000、Indirect Cost: ¥1,470,000); Fiscal Year 2023: ¥9,360,000 (Direct Cost: ¥7,200,000、Indirect Cost: ¥2,160,000); Fiscal Year 2022: ¥20,410,000 (Direct Cost: ¥15,700,000、Indirect Cost: ¥4,710,000)
• Keywords: オプティカル設計 / 深層学習 / オプティカルアキテクキャサーチ / 光学設計 / 特化カメラ / コンピュータビジョン / オプティカルアーキテクチャサーチ / カメラ自動設計 / イメージング

Outline of Research at the Start

本研究では，光学的な構造を深層学習の枠組みで最適に設計するためのオプティカルアーキテクチャサーチを確立し，特定のシーン認識・理解タスクに特化したタスク特化カメラを創出する．従来のカメラ光学系や深層学習と異なり、本研究では，ハードウェアとソフトウェアの結合性を高めるため，ハードウェアとして光学情報を符号化する光学的エンコーダを設計し，情報を復号するデコーダはソフトウェアとして実装する．単なるソフトウェアパラメータの最適化でなく，ハードウェアとソフトウェアを一括して，光学的な構造の最適化までを挑戦する。

Outline of Annual Research Achievements

今年度は、本研究プロジェクトの将来的発展を見据え、関連領域の最新動向を踏まえた上で、以下の3つの観点から研究を推進した。
１．最新のニューラルレンダリング技術の提案。ニューラルラジアンスフィールド（NeRF）を基盤として、大規模な静的シーンや人間の動作を含む動的シーンにおける三次元形状の再構成および自由視点画像のレンダリングに取り組んだ。さらに、ローリングシャッターに起因する幾何歪みの補正もNeRFフレームワーク内で達成し、多視点情報の統合を可能とする基盤を構築した。これにより、より多様なカメラ設計への展開が見込まれる。
２．画像・映像編集に関する最新技術の提案。近年、判別学習ではなく、拡散モデルをはじめとする生成モデルを用いた画像・映像処理の研究が急速に進展している。今年度は、画像の高解像度化や少量の人手アノテーションを用いた動画生成を実現し、生成モデルによる学習データセットの効率的な構築を可能とした。これを踏まえ、今後はオプティカルアーキテクチャサーチにおけるデータセット拡張への応用を進める予定である。
３．認識アルゴリズムの脆弱性解析と保護手法の検討。従来は画像認識・理解精度の向上を目的として設計を展開してきたが、今年度は認識アルゴリズムの脆弱性を明らかにすることを目的に、物理空間における攻撃パターンの自動生成に取り組んだ。具体的には、イベントカメラを用いた人物検出や、偏光カラーカメラを用いたガラス領域のセグメンテーションといったタスクにおいて、光学アーキテクチャサーチの有効性を実証した。

Current Status of Research Progress

1: Research has progressed more than it was originally planned.

Reason

当初の計画を発展させるかたちで、最新のニューラルレンダリング技術や画像・映像の生成・編集技術を提案し、多視点画像における多様な物理設計が可能となった。これにより、データセット構築の簡略化および効率化が期待される。さらに、本研究では単なる画像認識・理解の精度向上にとどまらず、認識アルゴリズムに内在する脆弱性の検出や、その保護手法の開発にも取り組んでおり、当初の計画を超える進展が得られていると考えられる。

Strategy for Future Research Activity

最終年度には、多視点情報の統合を可能とする基盤技術に基づき、カメラアレイにおけるフィルタおよびレンズ設計の最適化を進める予定である。さらに、生成モデルにおける物理的要素の操作性を高めることで、オプティカルアーキテクチャサーチにおけるデータセット拡張への応用も本格的に展開する計画である。

Research Products

• [Int'l Joint Research] Australian National University(オーストラリア)
• [Journal Article] Real-World Video Deblurring: A Benchmark Dataset and an Efficient Recurrent Neural Network (2023)
  • Author(s): Zhihang Zhong, Ye Gao, Yinqiang Zheng, Bo Zheng, Imari Sato
  • Journal Title: International Journal of Computer Vision Volume: 131 Issue: 1 Pages: 284-301
  • DOI: 10.1007/s11263-022-01705-6
  • Peer Reviewed
• [Presentation] Adversarial Attacks on Event-Based Pedestrian Detectors: A Physical Approach (2025)
  • Author(s): Guixu Lin, Muyao Niu, Qingtian Zhu, Zhengwei Yin, Zhuoxiao Li, Shengfeng He, Yinqiang Zheng
  • Organizer: AAAI Conference on Artificial Intelligence
  • Int'l Joint Research
• [Presentation] ResMaster: Mastering High-Resolution Image Generation via Structural and Fine-Grained Guidance (2025)
  • Author(s): Shuwei Shi, Wenbo Li, Yuechen Zhang, Jingwen He, Biao Gong, Yinqiang Zheng
  • Organizer: AAAI Conference on Artificial Intelligence
  • Int'l Joint Research
• [Presentation] Fooling Polarization-Based Vision Using Locally Controllable Polarizing Projection (2024)
  • Author(s): Zhuoxiao Li, Zhihang Zhong, Shohei Nobuhara, Ko Nishino, Yinqiang Zheng
  • Organizer: IEEE Conference on Computer Vision and Pattern Recognition
  • Int'l Joint Research
• [Presentation] Defending Against Physical Adversarial Patch attacks On Infrared Human Detection (2024)
  • Author(s): Lukas Strack, Futa Waseda, Huy H. Nguyen, Yinqiang Zheng, Isao Echizen
  • Organizer: International Conference on Image Processing
  • Int'l Joint Research
• [Presentation] MOFA-Video: Controllable Image Animation via Generative Motion Field Adaptions in Frozen Image-to-Video Diffusion Model (2024)
  • Author(s): Muyao Niu, Xiaodong Cun, Xintao Wang, Yong Zhang, Ying Shan, Yinqiang Zheng
  • Organizer: European Conference on Computer Vision
  • Int'l Joint Research
• [Presentation] KFD-NeRF: Rethinking Dynamic NeRF with Kalman Filter (2024)
  • Author(s): Yifan Zhan, Zhuoxiao Li, Muyao Niu, Zhihang Zhong, Shohei Nobuhara, Ko Nishino, Yinqiang Zheng
  • Organizer: European Conference on Computer Vision
  • Int'l Joint Research
• [Presentation] RS-NeRF: Neural Radiance Fields from Rolling Shutter Images (2024)
  • Author(s): Muyao Niu, Tong Chen, Yifan Zhan, Zhuoxiao Li, Xiang Ji, Yinqiang Zheng
  • Organizer: European Conference on Computer Vision
  • Int'l Joint Research
• [Presentation] RPBG: Towards Robust Neural Point-Based Graphics in the Wild (2024)
  • Author(s): Qingtian Zhu, Zizhuang Wei, Zhongtian Zheng, Yifan Zhan, Zhuyu Yao, Jiawang Zhang, Kejian Wu, Yinqiang Zheng
  • Organizer: European Conference on Computer Vision
  • Int'l Joint Research
• [Presentation] Within the Dynamic Context: Inertia-Aware 3D Human Modeling with Pose Sequence (2024)
  • Author(s): Yutong Chen, Yifan Zhan, Zhihang Zhong, Wei Wang, Xiao Sun, Yu Qiao, Yinqiang Zheng
  • Organizer: European Conference on Computer Vision
  • Int'l Joint Research
• [Presentation] Fooling Polarization-based Vision using Locally Controllable Polarizing Projection (2024)
  • Author(s): Zhuoxiao Li, Zhihang Zhong, Shohei Nobuhara, Ko Nishino, Yinqiang Zheng
  • Organizer: IEEE Conference on Computer Vision and Pattern Recognition
  • Int'l Joint Research
• [Presentation] Polarized Color Image Denoising (2023)
  • Author(s): Zhuoxiao Li, Haiyang Jiang, Mingdeng Cao, Yinqiang Zheng
  • Organizer: IEEE Conference on Computer Vision and Pattern Recognition
  • Int'l Joint Research
• [Presentation] Visibility Constrained Wide-Band Illumination Spectrum Design for Seeing-in-the-Dark (2023)
  • Author(s): Muyao Niu, Zhuoxiao Li, Zhihang Zhong, Yinqiang Zheng
  • Organizer: IEEE Conference on Computer Vision and Pattern Recognition
  • Int'l Joint Research
• [Presentation] NIR-assisted Video Enhancement via Unpaired 24-hour Data (2023)
  • Author(s): Muyao Niu, Zhihang Zhong, Yinqiang Zheng
  • Organizer: IEEE International Conference on Computer Vision
  • Int'l Joint Research
• [Presentation] Physics-Based Adversarial Attack on Near-Infrared Human Detector for Nighttime Surveillance Camera Systems (2023)
  • Author(s): Muyao Niu, Zhuoxiao Li, Yifan Zhan, Huy H. Nguyen, Isao Echizen, Yinqiang Zheng
  • Organizer: ACM Conference on Multimedia
  • Int'l Joint Research
• [Presentation] Optimal LED Spectral Multiplexing for NIR2RGB Translation (2022)
  • Author(s): Lei Liu, Yuze Chen, Junchi Yan, Yinqiang Zheng
  • Organizer: IEEE International Conference on Computer Vision and Pattern Recognition
  • Int'l Joint Research
• [Presentation] Learning Adaptive Warping for RealWorld Rolling Shutter Correction (2022)
  • Author(s): Mingdeng Cao, Zhihang Zhong, Jiahao Wang, Yinqiang Zheng, Yujiu Yang
  • Organizer: IEEE International Conference on Computer Vision and Pattern Recognition
  • Int'l Joint Research
• [Presentation] Neural Global Shutter: Learn to Restore Video from a Rolling Shutter Camera with Global Reset Feature (2022)
  • Author(s): Zhixiang Wang, Xiang Ji, Jia-Bin Huang, Shin'ichi Satoh, Xiao Zhou, Yinqiang Zheng
  • Organizer: IEEE International Conference on Computer Vision and Pattern Recognition
  • Int'l Joint Research
• [Presentation] Bringing Rolling Shutter Images Alive with Dual Reversed Distortion (2022)
  • Author(s): Zhihang Zhong, Mingdeng Cao, Xiao Sun, Zhirong Wu, Zhongyi Zhou, Yinqiang Zheng, Stephen Lin, Imari Sato
  • Organizer: European Conference on Computer Vision
  • Int'l Joint Research
• [Presentation] Efficient Video Deblurring Guided by Motion Magnitude (2022)
  • Author(s): Yusheng Wang, Yunfan Lu, Ye Gao, Lin Wang, Zhihang Zhong, Yinqiang Zheng, Atsushi Yamashita
  • Organizer: European Conference on Computer Vision
  • Int'l Joint Research
• [Presentation] Animation from Blur: Multi-modal Blur Decomposition with Motion Guidance. (2022)
  • Author(s): Zhihang Zhong, Xiao Sun, Zhirong Wu, Yinqiang Zheng, Stephen Lin, Imari Sato
  • Organizer: European Conference on Computer Vision
  • Int'l Joint Research
• [Presentation] Event-guided Video Clip Generation from Blurry Images (2022)
  • Author(s): Xin Ding, Tsuyoshi Takatani, Zhongyuan Wang, Ying Fu, Yinqiang Zheng
  • Organizer: ACM International Conference on Multimedia
  • Int'l Joint Research
• [Presentation] Diffeomorphic Neural Surface Parameterization for 3D and Reflectance Acquisition (2022)
  • Author(s): Ziang Cheng, Hongdong Li, Richard Hartley, Yinqiang Zheng, Imari Sato
  • Organizer: Special Interest Group on Computer Graphics and Interactive Techniques (Siggraph)
  • Int'l Joint Research