• 研究課題をさがす
  • 研究者をさがす
  • KAKENの使い方
  1. 前のページに戻る

オプティカルアーキテクチャサーチに基づくタスク特化カメラの創出

研究課題

研究課題/領域番号 22H00529
研究種目

基盤研究(A)

配分区分補助金
応募区分一般
審査区分 中区分61:人間情報学およびその関連分野
研究機関東京大学

研究代表者

鄭 銀強  東京大学, 大学院情報理工学系研究科, 教授 (30756896)

研究分担者 高谷 剛志  筑波大学, システム情報系, 助教 (90809758)
研究期間 (年度) 2022-04-01 – 2026-03-31
研究課題ステータス 交付 (2025年度)
配分額 *注記
43,160千円 (直接経費: 33,200千円、間接経費: 9,960千円)
2025年度: 7,020千円 (直接経費: 5,400千円、間接経費: 1,620千円)
2024年度: 6,370千円 (直接経費: 4,900千円、間接経費: 1,470千円)
2023年度: 9,360千円 (直接経費: 7,200千円、間接経費: 2,160千円)
2022年度: 20,410千円 (直接経費: 15,700千円、間接経費: 4,710千円)
キーワードオプティカル設計 / 深層学習 / オプティカルアキテクキャサーチ / 光学設計 / 特化カメラ / コンピュータビジョン / オプティカルアーキテクチャサーチ / カメラ自動設計 / イメージング
研究開始時の研究の概要

本研究では,光学的な構造を深層学習の枠組みで最適に設計するためのオプティカルアーキテクチャサーチを確立し,特定のシーン認識・理解タスクに特化したタスク特化カメラを創出する.従来のカメラ光学系や深層学習と異なり、本研究では,ハードウェアとソフトウェアの結合性を高めるため,ハードウェアとして光学情報を符号化する光学的エンコーダを設計し,情報を復号するデコーダはソフトウェアとして実装する.単なるソフトウェアパラメータの最適化でなく,ハードウェアとソフトウェアを一括して,光学的な構造の最適化までを挑戦する。

研究実績の概要

今年度は、本研究プロジェクトの将来的発展を見据え、関連領域の最新動向を踏まえた上で、以下の3つの観点から研究を推進した。
1.最新のニューラルレンダリング技術の提案。ニューラルラジアンスフィールド(NeRF)を基盤として、大規模な静的シーンや人間の動作を含む動的シーンにおける三次元形状の再構成および自由視点画像のレンダリングに取り組んだ。さらに、ローリングシャッターに起因する幾何歪みの補正もNeRFフレームワーク内で達成し、多視点情報の統合を可能とする基盤を構築した。これにより、より多様なカメラ設計への展開が見込まれる。
2.画像・映像編集に関する最新技術の提案。近年、判別学習ではなく、拡散モデルをはじめとする生成モデルを用いた画像・映像処理の研究が急速に進展している。今年度は、画像の高解像度化や少量の人手アノテーションを用いた動画生成を実現し、生成モデルによる学習データセットの効率的な構築を可能とした。これを踏まえ、今後はオプティカルアーキテクチャサーチにおけるデータセット拡張への応用を進める予定である。
3.認識アルゴリズムの脆弱性解析と保護手法の検討。従来は画像認識・理解精度の向上を目的として設計を展開してきたが、今年度は認識アルゴリズムの脆弱性を明らかにすることを目的に、物理空間における攻撃パターンの自動生成に取り組んだ。具体的には、イベントカメラを用いた人物検出や、偏光カラーカメラを用いたガラス領域のセグメンテーションといったタスクにおいて、光学アーキテクチャサーチの有効性を実証した。

現在までの達成度
現在までの達成度

1: 当初の計画以上に進展している

理由

当初の計画を発展させるかたちで、最新のニューラルレンダリング技術や画像・映像の生成・編集技術を提案し、多視点画像における多様な物理設計が可能となった。これにより、データセット構築の簡略化および効率化が期待される。さらに、本研究では単なる画像認識・理解の精度向上にとどまらず、認識アルゴリズムに内在する脆弱性の検出や、その保護手法の開発にも取り組んでおり、当初の計画を超える進展が得られていると考えられる。

今後の研究の推進方策

最終年度には、多視点情報の統合を可能とする基盤技術に基づき、カメラアレイにおけるフィルタおよびレンズ設計の最適化を進める予定である。さらに、生成モデルにおける物理的要素の操作性を高めることで、オプティカルアーキテクチャサーチにおけるデータセット拡張への応用も本格的に展開する計画である。

報告書

(4件)
  • 2024 実績報告書
  • 2023 実績報告書
  • 2022 審査結果の所見   実績報告書
  • 研究成果

    (24件)

すべて 2025 2024 2023 2022 その他

すべて 国際共同研究 (1件) 雑誌論文 (1件) (うち査読あり 1件) 学会発表 (22件) (うち国際学会 22件)

  • [国際共同研究] Australian National University(オーストラリア)

    • 関連する報告書
      2022 実績報告書
  • [雑誌論文] Real-World Video Deblurring: A Benchmark Dataset and an Efficient Recurrent Neural Network2023

    • 著者名/発表者名
      Zhihang Zhong, Ye Gao, Yinqiang Zheng, Bo Zheng, Imari Sato
    • 雑誌名

      International Journal of Computer Vision

      巻: 131 号: 1 ページ: 284-301

    • DOI

      10.1007/s11263-022-01705-6

    • 関連する報告書
      2022 実績報告書
    • 査読あり
  • [学会発表] Adversarial Attacks on Event-Based Pedestrian Detectors: A Physical Approach2025

    • 著者名/発表者名
      Guixu Lin, Muyao Niu, Qingtian Zhu, Zhengwei Yin, Zhuoxiao Li, Shengfeng He, Yinqiang Zheng
    • 学会等名
      AAAI Conference on Artificial Intelligence
    • 関連する報告書
      2024 実績報告書
    • 国際学会
  • [学会発表] ResMaster: Mastering High-Resolution Image Generation via Structural and Fine-Grained Guidance2025

    • 著者名/発表者名
      Shuwei Shi, Wenbo Li, Yuechen Zhang, Jingwen He, Biao Gong, Yinqiang Zheng
    • 学会等名
      AAAI Conference on Artificial Intelligence
    • 関連する報告書
      2024 実績報告書
    • 国際学会
  • [学会発表] Fooling Polarization-Based Vision Using Locally Controllable Polarizing Projection2024

    • 著者名/発表者名
      Zhuoxiao Li, Zhihang Zhong, Shohei Nobuhara, Ko Nishino, Yinqiang Zheng
    • 学会等名
      IEEE Conference on Computer Vision and Pattern Recognition
    • 関連する報告書
      2024 実績報告書
    • 国際学会
  • [学会発表] Defending Against Physical Adversarial Patch attacks On Infrared Human Detection2024

    • 著者名/発表者名
      Lukas Strack, Futa Waseda, Huy H. Nguyen, Yinqiang Zheng, Isao Echizen
    • 学会等名
      International Conference on Image Processing
    • 関連する報告書
      2024 実績報告書
    • 国際学会
  • [学会発表] MOFA-Video: Controllable Image Animation via Generative Motion Field Adaptions in Frozen Image-to-Video Diffusion Model2024

    • 著者名/発表者名
      Muyao Niu, Xiaodong Cun, Xintao Wang, Yong Zhang, Ying Shan, Yinqiang Zheng
    • 学会等名
      European Conference on Computer Vision
    • 関連する報告書
      2024 実績報告書
    • 国際学会
  • [学会発表] KFD-NeRF: Rethinking Dynamic NeRF with Kalman Filter2024

    • 著者名/発表者名
      Yifan Zhan, Zhuoxiao Li, Muyao Niu, Zhihang Zhong, Shohei Nobuhara, Ko Nishino, Yinqiang Zheng
    • 学会等名
      European Conference on Computer Vision
    • 関連する報告書
      2024 実績報告書
    • 国際学会
  • [学会発表] RS-NeRF: Neural Radiance Fields from Rolling Shutter Images2024

    • 著者名/発表者名
      Muyao Niu, Tong Chen, Yifan Zhan, Zhuoxiao Li, Xiang Ji, Yinqiang Zheng
    • 学会等名
      European Conference on Computer Vision
    • 関連する報告書
      2024 実績報告書
    • 国際学会
  • [学会発表] RPBG: Towards Robust Neural Point-Based Graphics in the Wild2024

    • 著者名/発表者名
      Qingtian Zhu, Zizhuang Wei, Zhongtian Zheng, Yifan Zhan, Zhuyu Yao, Jiawang Zhang, Kejian Wu, Yinqiang Zheng
    • 学会等名
      European Conference on Computer Vision
    • 関連する報告書
      2024 実績報告書
    • 国際学会
  • [学会発表] Within the Dynamic Context: Inertia-Aware 3D Human Modeling with Pose Sequence2024

    • 著者名/発表者名
      Yutong Chen, Yifan Zhan, Zhihang Zhong, Wei Wang, Xiao Sun, Yu Qiao, Yinqiang Zheng
    • 学会等名
      European Conference on Computer Vision
    • 関連する報告書
      2024 実績報告書
    • 国際学会
  • [学会発表] Fooling Polarization-based Vision using Locally Controllable Polarizing Projection2024

    • 著者名/発表者名
      Zhuoxiao Li, Zhihang Zhong, Shohei Nobuhara, Ko Nishino, Yinqiang Zheng
    • 学会等名
      IEEE Conference on Computer Vision and Pattern Recognition
    • 関連する報告書
      2023 実績報告書
    • 国際学会
  • [学会発表] Polarized Color Image Denoising2023

    • 著者名/発表者名
      Zhuoxiao Li, Haiyang Jiang, Mingdeng Cao, Yinqiang Zheng
    • 学会等名
      IEEE Conference on Computer Vision and Pattern Recognition
    • 関連する報告書
      2023 実績報告書
    • 国際学会
  • [学会発表] Visibility Constrained Wide-Band Illumination Spectrum Design for Seeing-in-the-Dark2023

    • 著者名/発表者名
      Muyao Niu, Zhuoxiao Li, Zhihang Zhong, Yinqiang Zheng
    • 学会等名
      IEEE Conference on Computer Vision and Pattern Recognition
    • 関連する報告書
      2023 実績報告書
    • 国際学会
  • [学会発表] NIR-assisted Video Enhancement via Unpaired 24-hour Data2023

    • 著者名/発表者名
      Muyao Niu, Zhihang Zhong, Yinqiang Zheng
    • 学会等名
      IEEE International Conference on Computer Vision
    • 関連する報告書
      2023 実績報告書
    • 国際学会
  • [学会発表] Physics-Based Adversarial Attack on Near-Infrared Human Detector for Nighttime Surveillance Camera Systems2023

    • 著者名/発表者名
      Muyao Niu, Zhuoxiao Li, Yifan Zhan, Huy H. Nguyen, Isao Echizen, Yinqiang Zheng
    • 学会等名
      ACM Conference on Multimedia
    • 関連する報告書
      2023 実績報告書
    • 国際学会
  • [学会発表] Optimal LED Spectral Multiplexing for NIR2RGB Translation2022

    • 著者名/発表者名
      Lei Liu, Yuze Chen, Junchi Yan, Yinqiang Zheng
    • 学会等名
      IEEE International Conference on Computer Vision and Pattern Recognition
    • 関連する報告書
      2022 実績報告書
    • 国際学会
  • [学会発表] Learning Adaptive Warping for RealWorld Rolling Shutter Correction2022

    • 著者名/発表者名
      Mingdeng Cao, Zhihang Zhong, Jiahao Wang, Yinqiang Zheng, Yujiu Yang
    • 学会等名
      IEEE International Conference on Computer Vision and Pattern Recognition
    • 関連する報告書
      2022 実績報告書
    • 国際学会
  • [学会発表] Neural Global Shutter: Learn to Restore Video from a Rolling Shutter Camera with Global Reset Feature2022

    • 著者名/発表者名
      Zhixiang Wang, Xiang Ji, Jia-Bin Huang, Shin'ichi Satoh, Xiao Zhou, Yinqiang Zheng
    • 学会等名
      IEEE International Conference on Computer Vision and Pattern Recognition
    • 関連する報告書
      2022 実績報告書
    • 国際学会
  • [学会発表] Bringing Rolling Shutter Images Alive with Dual Reversed Distortion2022

    • 著者名/発表者名
      Zhihang Zhong, Mingdeng Cao, Xiao Sun, Zhirong Wu, Zhongyi Zhou, Yinqiang Zheng, Stephen Lin, Imari Sato
    • 学会等名
      European Conference on Computer Vision
    • 関連する報告書
      2022 実績報告書
    • 国際学会
  • [学会発表] Efficient Video Deblurring Guided by Motion Magnitude2022

    • 著者名/発表者名
      Yusheng Wang, Yunfan Lu, Ye Gao, Lin Wang, Zhihang Zhong, Yinqiang Zheng, Atsushi Yamashita
    • 学会等名
      European Conference on Computer Vision
    • 関連する報告書
      2022 実績報告書
    • 国際学会
  • [学会発表] Animation from Blur: Multi-modal Blur Decomposition with Motion Guidance.2022

    • 著者名/発表者名
      Zhihang Zhong, Xiao Sun, Zhirong Wu, Yinqiang Zheng, Stephen Lin, Imari Sato
    • 学会等名
      European Conference on Computer Vision
    • 関連する報告書
      2022 実績報告書
    • 国際学会
  • [学会発表] Event-guided Video Clip Generation from Blurry Images2022

    • 著者名/発表者名
      Xin Ding, Tsuyoshi Takatani, Zhongyuan Wang, Ying Fu, Yinqiang Zheng
    • 学会等名
      ACM International Conference on Multimedia
    • 関連する報告書
      2022 実績報告書
    • 国際学会
  • [学会発表] Diffeomorphic Neural Surface Parameterization for 3D and Reflectance Acquisition2022

    • 著者名/発表者名
      Ziang Cheng, Hongdong Li, Richard Hartley, Yinqiang Zheng, Imari Sato
    • 学会等名
      Special Interest Group on Computer Graphics and Interactive Techniques (Siggraph)
    • 関連する報告書
      2022 実績報告書
    • 国際学会

URL: 

公開日: 2022-04-19   更新日: 2025-12-26  

サービス概要 検索マニュアル よくある質問 お知らせ 利用規程 科研費による研究の帰属

Powered by NII kakenhi