Computer vision based on direct measurement of light transport

• Project/Area Number: 20K20629
• Research Category: Grant-in-Aid for Challenging Research (Pioneering)
• Allocation Type: Multi-year Fund
• Review Section: Medium-sized Section 61:Human informatics and related fields
• Research Institution: Nara Institute of Science and Technology
• Principal Investigator: 向川 康博 奈良先端科学技術大学院大学, 先端科学技術研究科, 教授 (60294435)
• Co-Investigator(Kenkyū-buntansha): 日浦 慎作 兵庫県立大学, 工学研究科, 教授 (40314405)
• Project Period (FY): 2020-07-30 – 2026-03-31
• Project Status: Granted (Fiscal Year 2024)
• Budget Amount: ¥24,700,000 (Direct Cost: ¥19,000,000、Indirect Cost: ¥5,700,000); Fiscal Year 2025: ¥2,600,000 (Direct Cost: ¥2,000,000、Indirect Cost: ¥600,000); Fiscal Year 2024: ¥3,900,000 (Direct Cost: ¥3,000,000、Indirect Cost: ¥900,000); Fiscal Year 2023: ¥3,900,000 (Direct Cost: ¥3,000,000、Indirect Cost: ¥900,000); Fiscal Year 2022: ¥5,200,000 (Direct Cost: ¥4,000,000、Indirect Cost: ¥1,200,000); Fiscal Year 2021: ¥5,200,000 (Direct Cost: ¥4,000,000、Indirect Cost: ¥1,200,000); Fiscal Year 2020: ¥3,900,000 (Direct Cost: ¥3,000,000、Indirect Cost: ¥900,000)
• Keywords: 光伝播の直接観測 / 単一光子検出器 / 高時間分解撮影 / 非視線方向撮影 / 相互反射解析 / 時間分解インバースラジオシティ / 光伝播 / シーン解析 / 単一光子検出 / SPAD

Outline of Research at the Start

光源から発せられた光はシーン中で反射や散乱などの光学現象を繰り返す．本研究ではこの光伝播の様子を，数十ピコ秒の超短時間解像度で直接計測する単一光子検出器を利用したデバイスを開発する．さらに，物理モデルに従って光線を追跡し，光伝播の様子を解析するアルゴリズムを開発する．これらのハードウェアとソフトウェアの開発をベースに，コンピュータビジョンによるシーン理解能力を大幅に向上させる．

Outline of Annual Research Achievements

単一光子検出器を用いて計測した高時間分解データをもとに，材質を推定する課題に取り組んだ．光源から物体表面に到達した光は，一部は表面で反射してSPADセンサで観測されるが，一部は内部に入り込んで表面下散乱となる．この表面下散乱光の広がりは材質によって異なり，再び表面に到達してSPADセンサで観測される際には，材質特有の時間遅れが生じる．この時間遅れを時系列信号とみなし，１次元の畳み込みニューラルネットで学習することで，材質推定が可能であることを示した．本成果は，査読付き英文論文誌 IEEE Accessに採択された．

また，物体が発する微小な振動を，光学的に計測することで，遠方から非接触で計測する問題に取り組んだ．各光子の到達時刻に重み付けを行うことで，物体とSPADセンサの間にある関与媒体による外乱の影響を抑制した頑健な振動計測手法を開発した．これにより，すりガラス越しに振動するスピーカーを観測することで，スピーカーからの音声を復元できることを明らかにした．

さらに，半透明な散乱媒体中にあるために直接は見えない物体を対象として，SPADセンサを用いて隠れた物体の位置や形状を推定する非視線方向撮影（Non-line-of-sight (NLOS) imaging）の問題に取り組んだ．散乱媒体下を伝播する光の経路差による時間遅れを，SPADセンサを用いて測定することで，死角にある物体の形状を推定できることを示した

Current Status of Research Progress

2: Research has progressed on the whole more than it was originally planned.

Reason

本研究では，光源から出射された光がシーン中を伝播する様子を高い時間分解能で直接計測することで，シーンをより詳細に理解できる新しいコンピュータビジョン技術の開発を目指している．これまでに，２層構造物体，表面下散乱が生じる半透明物体，強い拡散相互反射が生じる凹面，直接観測できない遮蔽物の裏側の計測，表面下散乱に基づく材質推定，高速に振動する物体の動き情報の推定など，これまでのコンピュータビジョンではうまく扱えなかった複雑な光学現象が生じるシーンの解析において着実な成果を上げている．

Strategy for Future Research Activity

研究の立案時には，SPADセンサはまだ一般的ではなく高価なシステムであったが，研究を遂行する間に，一部のスマートフォンにも搭載され，さらに数千円程度の安価な電子部品も市販されるようになってきた．そこで，引き続き研究室内において高価かつ高精度のSPADシステムを用いた基礎研究と，安価なSPADシステムを用いた応用研究の両面から研究を進める．

Research Products

• [Int'l Joint Research] マイクロソフトリサーチ(米国)
• [Int'l Joint Research] ピカルディ・ジュール・ヴェルヌ大学(フランス)
• [Journal Article] Material Segmentation Using 1-D Convolutional Neural Network With Transient Histogram (2025)
  • Author(s): Pratama Yohanssen、Kitano Kazuya、Kushida Takahiro、Fujimura Yuki、Funatomi Takuya、Mukaigawa Yasuhiro
  • Journal Title: IEEE Access Volume: 13 Pages: 59295-59308
  • DOI: 10.1109/access.2025.3554776
• [Journal Article] Polarimetric Light Transport Analysis for Specular Inter-Reflection (2024)
  • Author(s): Ryota Maeda and Shinsaku Hiura
  • Journal Title: IEEE Transactions on Computational Imaging Volume: 10 Pages: 876-887
  • DOI: 10.1109/tci.2024.3404612
  • Peer Reviewed / Open Access
• [Presentation] Pixel-Wise Material Classification Using Deep Learning by Utilizing Transient Responses (2024)
  • Author(s): Y. Pratama, K. Kitano, T. Kushida, Y. Fujimura, T. Funatomi, Y. Mukaigawa
  • Organizer: 画像の認識・理解シンポジウム(MIRU2024)
• [Presentation] 単一光子検出器を用いた散乱媒体下でのNLOSイメージング (2024)
  • Author(s): 久本直毅, 中田健太, 前田涼汰,日浦慎作
  • Organizer: 画像の認識・理解シンポジウム(MIRU2024)
• [Presentation] 光飛行時間の直接計測による関与媒体に対して頑健な振動計測の検討 (2024)
  • Author(s): 中田健太, 前田涼汰, 久本直毅, 山添大丈, 日浦慎作
  • Organizer: 画像の認識・理解シンポジウム(MIRU2024)
• [Presentation] NLOS-NeuS: Non-line-of-sight Neural Implicit Surface (2023)
  • Author(s): Y. Fujimura, T. Kushida, T. Funatomi, Y. Mukaigawa
  • Organizer: International Conference on Computer Vision (ICCV2023)
  • Int'l Joint Research
• [Presentation] NLOS-NeuS: 非視線方向撮影におけるニューラル陰関数表面 (2023)
  • Author(s): 藤村友貴, 櫛田貴弘, 舩冨卓哉, 向川康博
  • Organizer: 画像の認識・理解シンポジウム(MIRU2023)
• [Presentation] 単一光子検出器を用いた表面下散乱のトランジェント偏光イメージング (2023)
  • Author(s): 中田健太, 前田涼汰, 日浦慎作
  • Organizer: 画像の認識・理解シンポジウム(MIRU2023)
• [Presentation] 光の遅延を利用した大域照明を含むシーンの理解 (2023)
  • Author(s): 向川康博
  • Organizer: レーザー学会 学術講演会第43回年次大会
  • Invited
• [Presentation] Neural Density Field 上での光子追跡による高時間分解画像の解析手法 (2022)
  • Author(s): 藤村友貴, 櫛田貴弘, 舩冨卓哉, 向川康博
  • Organizer: 画像の認識・理解シンポジウム(MIRU2022)
• [Presentation] 距離だけじゃない。Time-of-Flightからわかること -光の遅延を利用した大域照明を含むシーンの理解- (2022)
  • Author(s): 向川康博
  • Organizer: 第28回画像センシングシンポジウム（SSII2022）
  • Invited
• [Presentation] 空間座標を時間軸に埋め込んだ高時間分解計測による鏡面物体の形状推定 (2021)
  • Author(s): 知念響紀, 青山尚正, 櫛田貴弘, 田中賢一郎, 舩冨卓哉, 向川康博
  • Organizer: 画像の認識・理解シンポジウム(MIRU2021)
• [Presentation] 時間分解ラジオシティを用いた反射率と形状の整合性評価' (2021)
  • Author(s): 生坂優太, 櫛田貴弘, 田中賢一郎, 舩冨卓哉, 向川康博
  • Organizer: 画像の認識・理解シンポジウム(MIRU2021)
• [Presentation] 単一光子検出器を用いた時間フィルタリングイメージング (2021)
  • Author(s): 渡辺亮, 生坂優太, 櫛田貴弘, 田中賢一郎, 舩冨卓哉, 向川康博
  • Organizer: 情報処理学会 第83回全国大会
• [Book] コンピュータビジョン - デバイス・アルゴリズムとその応用 - (2024)
  • Author(s): 香川景一郎, 小池崇文, 久保尋之, 延原章平, 玉木徹, 皆川卓也(著), 日浦慎作（編）
  • Total Pages: 264
  • Publisher: コロナ社
  • ISBN: 9784339013771