An invisible element imaging system by autonomous cooperative acquisition and analysis of dynamic indirect light transport

• Project/Area Number: 24K02953
• Research Category: Grant-in-Aid for Scientific Research (B)
• Allocation Type: Multi-year Fund
• Section: 一般
• Review Section: Basic Section 61010:Perceptual information processing-related
• Research Institution: Chiba University
• Principal Investigator: 久保 尋之 千葉大学, 大学院情報学研究院, 准教授 (90613951)
• Co-Investigator(Kenkyū-buntansha): 谷田川 達也 一橋大学, 大学院ソーシャル・データサイエンス研究科, 准教授 (50817484)
• Project Period (FY): 2024-04-01 – 2029-03-31
• Project Status: Granted (Fiscal Year 2024)
• Budget Amount: ¥18,590,000 (Direct Cost: ¥14,300,000、Indirect Cost: ¥4,290,000); Fiscal Year 2028: ¥2,990,000 (Direct Cost: ¥2,300,000、Indirect Cost: ¥690,000); Fiscal Year 2027: ¥2,990,000 (Direct Cost: ¥2,300,000、Indirect Cost: ¥690,000); Fiscal Year 2026: ¥3,380,000 (Direct Cost: ¥2,600,000、Indirect Cost: ¥780,000); Fiscal Year 2025: ¥5,070,000 (Direct Cost: ¥3,900,000、Indirect Cost: ¥1,170,000); Fiscal Year 2024: ¥4,160,000 (Direct Cost: ¥3,200,000、Indirect Cost: ¥960,000)
• Keywords: コンピュータビジョン / コンピュテーショナルフォトグラフィ / コンピュータグラフィックス / ライトトランスポート / イベントベースカメラ / コンピュテーショナルイメージング

Outline of Research at the Start

シーンに光を照射したときの反射光をカメラで撮影して得られるシーンの光伝搬の情報は様々な分野への活用が期待されている。本研究提案では、動的なシーンに対して計測・解析可能なインダイレクト光伝搬を自律協調的に計測可能なシステムを構築する。さらに、物理ベースの数理モデルをの適用することによって、直接目に見ることのないシーンの潜在的な要素を可視化を実現する。

Outline of Annual Research Achievements

本研究提案では、動的なシーンに対して計測・解析可能なインダイレクト光伝搬の自律協調計測を実現する。さらに、物理ベースの数理モデルを用いることで、直接目に見ることのない、シーンの潜在的な要素を可視化をすることを目的とする。これにより、従来の直接光成分によるシーンの理解・解析とは異なる、動的なシーンにおける間接光成分に注目したダイナミック・インダイレクトビジョンとして体系化する。本研究提案では計測装置のひとつとして高感度かつ高時間分解能な点が特徴として知られるイベントベースカメラの活用を想定している。そこで本年度は、物理ベースシミュレーションによるイベントベースカメラ映像の効率的なレンダリング技術を開発した。イベントカメラとは，閾値以上の輝度の変化を非同期に検知し，画素ごとにその情報を出力する特殊なカメラである．物理的に正確なレンダリング手法であるパストレーシング法によってシミュレーションを行う場合，分散によるノイズの誤検出が問題となる．そこでパストレーシング法がいくつかのサンプルから輝度値を推定する手法であることに着目し，輝度の推定値を得てからイベントが発生したかどうか判断するのではなく，輝度が閾値を超えて変化しているかどうかを仮説検定によって直接推測することで，パストレーシング法を用いたイベントカメラのシミュレーションをより効率化を実現した。本研究はコンピュテーショナルフォトグラフィ分野の国際トップカンファレンスであるIEEE International Conference on Computational Photography (ICCP) 2024に口頭発表で採択されたほか、関連論文をACM SIGGRAPH 2024にてポスター発表を実施した。

Current Status of Research Progress

2: Research has progressed on the whole more than it was originally planned.

Reason

本研究の成果はコンピュテーショナルフォトグラフィ分野の国際トップカンファレンスであるIEEE International Conference on Computational Photography (ICCP) 2024に口頭発表で採択されたほか、関連論文をACM SIGGRAPH 2024にてポスター発表を実施した。また、これ以外にも漏えい電磁波を利用した非視線方向イメージング技術や液体の流れ場の可視化技術を開発し、いずれもACM SIGGRAPH 2024にてポスター発表（査読付き）を実施するなど、国際的に認められた研究成果が得られている。

Strategy for Future Research Activity

動的なインダイレクト光伝搬を計測・解析するために、イベントカメラの物理ベースシミュレーションの効率化手法を応用し、イベントカメラの大きな特徴である高い時間解像度をより正確にシミュレーションする手法を実現する。さらに、微分可能レンダリング技術を光伝搬解析とイメージングに応用し、例えば非視線方向イメージングへの適用を目指す。

Research Products

• [Presentation] Visualization of the Invisible: Programmable Light Transport Acquisition and Analysis (2025)
  • Author(s): H. Kubo
  • Organizer: International Workshop on Frontiers of Computer Vision (IW-FCV) 2025
  • Invited
• [Presentation] セルロースナノファイバー懸濁液の流れに伴う偏光角度変化を用いた三次元的な流れの可視化手法 (2024)
  • Author(s): 岡本流星, 山下聖悟, 加藤卓哉, 久保尋之
  • Organizer: st Japan Visualization Symposium (JapanVis) 2024
• [Presentation] パストレーシング法における統計的仮説検定に基づくイベント映像生成の効率化 (2024)
  • Author(s): 真鍋 悠一郎, 谷田川達也, 森島繁生, 久保尋之
  • Organizer: 第30回画像センシングシンポジウム (SSII 2024)
• [Presentation] Monte Carlo Path Tracing and Statistical Event Detection for Event Camera Simulation (2024)
  • Author(s): Y. Manabe, T. Yatagawa, S. Morishima, H. Kubo
  • Organizer: IEEE International Conference on Computational Photography (ICCP) 2024
  • Int'l Joint Research
• [Presentation] Adaptive Sampling for Monte-Carlo Event Imagery Rendering (2024)
  • Author(s): Y. Manabe, T. Yatagawa, S. Morishima, H. Kubo
  • Organizer: ACM SIGGRAPH2024
  • Int'l Joint Research
• [Presentation] Visualization of Flow Direction using Polarization Angle Changes of Cellulose Nanofiber Suspension (2024)
  • Author(s): R. Okamoto, S. Yamashita, T. Kato, H. Kubo
  • Organizer: In ACM SIGGRAPH 2024 Poster, 2024.7.
  • Int'l Joint Research
• [Presentation] Non-Line-of-Sight Imaging based on Dual Photography using Leaked EM Waves (2024)
  • Author(s): M. Oishi, T. Kitazawa, Y. Hayashi, H. Kubo
  • Organizer: In ACM SIGGRAPH 2024 Poster, 2024.7.
  • Int'l Joint Research
• [Presentation] 漏えい電磁波による光源情報推定と光伝搬解析を用いたNLoSイメージング (2024)
  • Author(s): 大石真也, 北沢太基, 林優一, 久保尋之
  • Organizer: 第27回画像の認識・理解シンポジウム(MIRU2024)
• [Presentation] セルロースナノファイバーの偏光特性を用いた流れ場の可視化 (2024)
  • Author(s): 岡本流星, 山下聖悟, 加藤卓哉, 久保尋之
  • Organizer: 第27回画像の認識・理解シンポジウム(MIRU2024)
• [Presentation] 統計的仮説検定を用いたパストレーシング法による効率的なイベント映像レンダリング (2024)
  • Author(s): 真鍋悠一郎, 谷田川達也, 森島繁生, 久保 尋之
  • Organizer: Visual Computing 2024
• [Presentation] 高周波ライン照明と分光カメラを用いたギャップ撮影による物体内部の可視化 (2024)
  • Author(s): 矢野海結, 岩口尭史, 川崎洋, 久保尋之
  • Organizer: 情報処理学会CVIM研究会