• Search Research Projects
  • Search Researchers
  • How to Use
  1. Back to previous page

圧縮センシングによる撮影の効率化と高精度な分析の両立

Research Project

Project/Area Number 23KJ1050
Research Category

Grant-in-Aid for JSPS Fellows

Allocation TypeMulti-year Fund
Section国内
Review Section Basic Section 61010:Perceptual information processing-related
Research InstitutionShizuoka University

Principal Investigator

吉田 道隆  静岡大学, 電子工学研究所, 特別研究員(PD)

Project Period (FY) 2023-04-25 – 2026-03-31
Project Status Granted (Fiscal Year 2023)
Budget Amount *help
¥4,680,000 (Direct Cost: ¥3,600,000、Indirect Cost: ¥1,080,000)
Fiscal Year 2025: ¥1,560,000 (Direct Cost: ¥1,200,000、Indirect Cost: ¥360,000)
Fiscal Year 2024: ¥1,560,000 (Direct Cost: ¥1,200,000、Indirect Cost: ¥360,000)
Fiscal Year 2023: ¥1,560,000 (Direct Cost: ¥1,200,000、Indirect Cost: ¥360,000)
Keywords圧縮センシング / Time of Flight / 符号化 / 深層学習
Outline of Research at the Start

センサの時間分解能が低いことに起因する従来のToF 形式の距離計測の問題を圧縮センシングを用いることにより改善する.従来からセンサの改良やDNN を用いて撮影画像を補正する手法などが提案されているが,近年ではハードウェア単独・ソフトウェア単独の改善では限界に近付きつつある.そこで,本研究では圧縮センシングを用いて符号化ToFセンサにより時間情報を圧縮した画像を撮影し,後処理により時間情報を抽出することで距離測定性能を向上させる.撮影時のセンサのパラメータ設定と撮影画像の後処理をDNNを用いて同時に最適化することにより従来手法の限界を突破する.

Outline of Annual Research Achievements

ToFセンサとは,光源が発光してから対象に反射しセンサに到達するまでの時間を計測することで,距離が取得可能なセンサであり,自動運転や自立型のロボットのセンサとして近年需要が高まっている.本研究では,従来のセンサの時間分解能が低いことに起因するToF方式の距離計測の問題を圧縮センシングを用いることにより改善する.
シャッタを用いて環境の応答を時間的に符号化することで従来より多くの時間情報を観測することが可能となる.この符号化露光画像からtransient image (時間過渡画像)を再構成することで光の環境内でのふるまいを分析することができるためより正確な距離推定が可能となる.
今年度は符号化露光画像からtransient image (時間過渡画像)の再構成ネットワークの構築及び符号化ToFセンサの符号化パラメータと再構成ネットワークの同時最適化に取り組んだ.符号化露光画像からtransient image 再構成ネットワークは交互方向乗数法(ADMM)を深層展開したモデルを用いた.ADMMは問題を分割し,交互に最適化することで効果的に問題を解くアルゴリズムであり,繰り返し計算が必要である.繰り返し計算は計算コストが高いため,この繰り返し計算を深層モデルへ置き換える.ADMMにおけるデノイジング過程を深層モデルで表現し,繰り返すステップ数を固定することで高速で精度の良い再構成を達成した.また,センサ制約を満たす符号化パターンをランダムに複数用意し,その中で最も再構成誤差の小さいものを採用することで符号化パターンの最適化を行った.符号化パターンの選択と再構成ネットワークの学習を交互に繰り返すことで同時に最適化を行った.同時最適化によりランダムな符号化パターンを用いたときと比べ再構成されたtransient imageとそこから推定されるシーンの奥行の双方で品質が向上した.

Current Status of Research Progress
Current Status of Research Progress

2: Research has progressed on the whole more than it was originally planned.

Reason

当初の予定では符号化ToFセンサの符号化パラメータと再構成ネットワークの同時最適化は,符号化ToFセンサでの符号化をニューラルネットワークで表現し再構成ネットワークと同時に再構成誤差の逆伝播により最適化する予定であった.しかし,符号化ToFセンサにはセンサ駆動の制約により実現できる符号化パターンに制約がある.この制約を含めて最適化しようとすると誤差関数による勾配方向と符号化パターンの更新方向が必ずしも一致せず,符号化パターンの最適化がうまくいかなかった.そこで,符号化パラメータをニューラルネットワークで表現するのではなく,センサ制約を満たす符号化パターンをランダムに複数用意し,その中で最も再構成誤差の小さいものを選択するという貪欲法に似た手法により再構成ネットワークと符号化パラメータの同時最適化を実現した.
この成果について,国際学会にて報告予定である.

Strategy for Future Research Activity

Transient imageは環境内での光のふるまいを分析するために非常に有用であるが,データ容量が大きく,またtransient imageの再構成処理そのものが計算量が多いため計算資源が限られる場面には活用が難しい.符号化露光画像にはtransient imageを再構成できるだけの情報が含まれているはずであるため,符号化露光画像からtransient imageの再構成を経ずに直接距離を推定する手法を検討する.

Report

(1 results)
  • 2023 Research-status Report
  • Research Products

    (2 results)

All 2023

All Journal Article (1 results) (of which Peer Reviewed: 1 results,  Open Access: 1 results) Presentation (1 results)

  • [Journal Article] Deep Sensing for Compressive Video Acquisition2023

    • Author(s)
      Yoshida Michitaka、Torii Akihiko、Okutomi Masatoshi、Taniguchi Rin-ichiro、Nagahara Hajime、Yagi Yasushi
    • Journal Title

      Sensors

      Volume: 23 Issue: 17 Pages: 7535-7535

    • DOI

      10.3390/s23177535

    • Related Report
      2023 Research-status Report
    • Peer Reviewed / Open Access
  • [Presentation] 超高時間分解コンピュテーショナルCMOSイメージセンサを用いた深層学習による疑似dToF2023

    • Author(s)
      吉田道隆, ファム ゴック アン, リュウ ドゥシン, 安富啓太, 川人祥二, 香川景一郎, 長原一
    • Organizer
      情報センシング研究会(IST)
    • Related Report
      2023 Research-status Report

URL: 

Published: 2023-04-26   Modified: 2024-12-25  

Information User Guide FAQ News Terms of Use Attribution of KAKENHI

Powered by NII kakenhi