Computer vision based on direct measurement of light transport

• Project/Area Number: 20K20629
• Research Category: Grant-in-Aid for Challenging Research (Pioneering)
• Allocation Type: Multi-year Fund
• Review Section: Medium-sized Section 61:Human informatics and related fields
• Research Institution: Nara Institute of Science and Technology
• Principal Investigator: 向川 康博 奈良先端科学技術大学院大学, デジタルグリーンイノベーションセンター, 教授 (60294435)
• Co-Investigator(Kenkyū-buntansha): 日浦 慎作 兵庫県立大学, 工学研究科, 教授 (40314405)
• Project Period (FY): 2020-07-30 – 2026-03-31
• Project Status: Granted (Fiscal Year 2023)
• Budget Amount: ¥24,700,000 (Direct Cost: ¥19,000,000、Indirect Cost: ¥5,700,000); Fiscal Year 2025: ¥2,600,000 (Direct Cost: ¥2,000,000、Indirect Cost: ¥600,000); Fiscal Year 2024: ¥3,900,000 (Direct Cost: ¥3,000,000、Indirect Cost: ¥900,000); Fiscal Year 2023: ¥3,900,000 (Direct Cost: ¥3,000,000、Indirect Cost: ¥900,000); Fiscal Year 2022: ¥5,200,000 (Direct Cost: ¥4,000,000、Indirect Cost: ¥1,200,000); Fiscal Year 2021: ¥5,200,000 (Direct Cost: ¥4,000,000、Indirect Cost: ¥1,200,000); Fiscal Year 2020: ¥3,900,000 (Direct Cost: ¥3,000,000、Indirect Cost: ¥900,000)
• Keywords: 光伝播の直接観測 / 単一光子検出器 / 高時間分解撮影 / 非視線方向撮影 / 相互反射解析 / 時間分解インバースラジオシティ / 光伝播 / シーン解析 / 単一光子検出 / SPAD

Outline of Research at the Start

光源から発せられた光はシーン中で反射や散乱などの光学現象を繰り返す．本研究ではこの光伝播の様子を，数十ピコ秒の超短時間解像度で直接計測する単一光子検出器を利用したデバイスを開発する．さらに，物理モデルに従って光線を追跡し，光伝播の様子を解析するアルゴリズムを開発する．これらのハードウェアとソフトウェアの開発をベースに，コンピュータビジョンによるシーン理解能力を大幅に向上させる．

Outline of Annual Research Achievements

前年度に引き続き，単一光子検出器を用いて計測した高時間分解データから，直接は観測できない遮蔽物の裏側の３次元形状を復元する手法を開発した．これは，非視線方向撮影（Non-line-of-sight (NLOS) imaging）と呼ばれ，一般的なカメラでは情報が縮退するために解くのが難しい問題であるが，高時間分解計測では光が伝播する過程を捉えることができるため，これをもとに解くことが可能となる．さらに３次元形状をニューラル陰関数表面で表現することで，なめらかかつ詳細な形状復元が可能となった．この成果は，フランス・パリで開催された本分野の国際トップカンファレンスであるICCV2023で発表した．

また，パルスレーザ光源とSPADセンサの双方に偏光板を装着することで，表面下散乱光の偏光・非偏光成分それぞれの時間変化を画像化する解析手法を新たに開発した．偏光成分に比べ，非偏光成分のほうがより広範囲に広がり，かつ長時間持続することを確認した．

Current Status of Research Progress

2: Research has progressed on the whole more than it was originally planned.

Reason

本研究では，光源から出射された光がシーン中を伝播する様子を高い時間分解能で直接計測することで，シーンをより詳細に理解できるコンピュータビジョン技術の開発を目指している．これまでに，２層構造物体，表面下散乱が生じる半透明物体，強い拡散相互反射が生じる凹面，映り込みが生じる鏡面，直接観測できない遮蔽物の裏側など，これまでのコンピュータビジョンが苦手としてきた複雑な光学現象が生じるシーンの解析において着実な成果を上げている．引き続き，屈折の生じる透明物体の形状計測や，材質ごとに異なる表面下散乱の解析などに取り組んでいく．

Strategy for Future Research Activity

屈折の生じる透明物体を通過する光線を物理モデルに従って追跡し，高時間分解撮影の結果と比較することで，透明物体を含むシーン全体の形状推定の問題に取り組む．また，材質ごとに異なる表面下散乱の時間遅れをもとに，深層学習によって材質を推定する問題にも取り組む．さらに，近年では安価な単一光子検出器も普及してきたことから，これらを利用した新しい光解析手法の開発にも取り組む．

Research Products

• [Presentation] NLOS-NeuS: Non-line-of-sight Neural Implicit Surface (2023)
  • Author(s): Y. Fujimura, T. Kushida, T. Funatomi, Y. Mukaigawa
  • Organizer: International Conference on Computer Vision (ICCV2023)
  • Int'l Joint Research
• [Presentation] NLOS-NeuS: 非視線方向撮影におけるニューラル陰関数表面 (2023)
  • Author(s): 藤村友貴, 櫛田貴弘, 舩冨卓哉, 向川康博
  • Organizer: 画像の認識・理解シンポジウム(MIRU2023)
• [Presentation] 単一光子検出器を用いた表面下散乱のトランジェント偏光イメージング (2023)
  • Author(s): 中田健太, 前田涼汰, 日浦慎作
  • Organizer: 画像の認識・理解シンポジウム(MIRU2023)
• [Presentation] 光の遅延を利用した大域照明を含むシーンの理解 (2023)
  • Author(s): 向川康博
  • Organizer: レーザー学会 学術講演会第43回年次大会
  • Invited
• [Presentation] Neural Density Field 上での光子追跡による高時間分解画像の解析手法 (2022)
  • Author(s): 藤村友貴, 櫛田貴弘, 舩冨卓哉, 向川康博
  • Organizer: 画像の認識・理解シンポジウム(MIRU2022)
• [Presentation] 距離だけじゃない。Time-of-Flightからわかること -光の遅延を利用した大域照明を含むシーンの理解- (2022)
  • Author(s): 向川康博
  • Organizer: 第28回画像センシングシンポジウム（SSII2022）
  • Invited
• [Presentation] 空間座標を時間軸に埋め込んだ高時間分解計測による鏡面物体の形状推定 (2021)
  • Author(s): 知念響紀, 青山尚正, 櫛田貴弘, 田中賢一郎, 舩冨卓哉, 向川康博
  • Organizer: 画像の認識・理解シンポジウム(MIRU2021)
• [Presentation] 時間分解ラジオシティを用いた反射率と形状の整合性評価' (2021)
  • Author(s): 生坂優太, 櫛田貴弘, 田中賢一郎, 舩冨卓哉, 向川康博
  • Organizer: 画像の認識・理解シンポジウム(MIRU2021)
• [Presentation] 単一光子検出器を用いた時間フィルタリングイメージング (2021)
  • Author(s): 渡辺亮, 生坂優太, 櫛田貴弘, 田中賢一郎, 舩冨卓哉, 向川康博
  • Organizer: 情報処理学会 第83回全国大会