Visibility Enhancement of Concealed Appearance by Acquiring and Analysis of Indirect Light Transport

• Project/Area Number: 19H04138
• Research Category: Grant-in-Aid for Scientific Research (B)
• Allocation Type: Single-year Grants
• Section: 一般
• Review Section: Basic Section 61010:Perceptual information processing-related
• Research Institution: Chiba University (2022-2023); Tokai University (2019-2021)
• Principal Investigator: 久保 尋之 千葉大学, 大学院工学研究院, 准教授 (90613951)
• Project Period (FY): 2019-04-01 – 2024-03-31
• Project Status: Granted (Fiscal Year 2023)
• Budget Amount: ¥17,160,000 (Direct Cost: ¥13,200,000、Indirect Cost: ¥3,960,000); Fiscal Year 2023: ¥2,210,000 (Direct Cost: ¥1,700,000、Indirect Cost: ¥510,000); Fiscal Year 2022: ¥3,120,000 (Direct Cost: ¥2,400,000、Indirect Cost: ¥720,000); Fiscal Year 2021: ¥3,120,000 (Direct Cost: ¥2,400,000、Indirect Cost: ¥720,000); Fiscal Year 2020: ¥3,900,000 (Direct Cost: ¥3,000,000、Indirect Cost: ¥900,000); Fiscal Year 2019: ¥4,810,000 (Direct Cost: ¥3,700,000、Indirect Cost: ¥1,110,000)
• Keywords: コンピュータビジョン / コンピュテーショナルフォトグラフィ / ライトトランスポート / インダイレクトビジョン / 光伝播計測 / 表面下散乱光 / マルチスペクトル / 光伝搬計測 / 画像鮮明化

Outline of Research at the Start

本研究課題では，ものの内部や遮蔽されて直接見ることの出来ないシーンの深層的な情報とは，直接光成分ではなく複雑な経路を経由した間接光成分こそに現れていることに着目し，シーンのインダイレクト（間接）光伝搬を選択的に取得した観測にもとづいて潜在的な情報を可視化すること目的とする．従来の直接光成分によるシーンの理解・解析と異なる間接光成分に注目したインダイレクトビジョンとして体系化し，肌の内部構造の可視化によって医用画像処理分野への応用や，遮蔽物の先の映像を可視化することで見えない歩行者の検出など車載ビジョンシステムなどへの応用を目標とする．

Outline of Annual Research Achievements

本研究課題の目的は、シーンのインダイレクト光伝搬の性質に応じて選択的に取得した観測をもとに、物理ベースの数理モデルを用いることでシーンの潜在的情報の可視化を目的とすることである。本年度は、インダイレクト光伝播におけるマルチスペクトル情報を計測するための専用の光学デバイス及び画像処理アルゴリズムを開発に着手した。具体的には、分光カメラとして一般的なラインスキャン方式のハイパースペクトルカメラを用いて表面下散乱光の分光分布を計測し，さらに解析することで物体の内部構造を明らかにする．一般的なラインスキャン方式のハイパースペクトルカメラは1度に1ラインずつしか撮影できないため，物体の内部で広がる表面下散乱による光伝搬を計測しようとすると、通常のRGBカメラに比べて非常に多くの撮影時間が多くかかってしまう。そこで本研究では、ラインスキャン方式のハイパースペクトルカメラにライン照明を組み合わせ、協調的な撮影を実施することで多波長の表面下散乱光を効率的に獲得できる測定手法の確立を目指す。ただし、計測の際にハイパースペクトルカメラのラインスキャンとライン照明とを完全に平行に設置して計測することは物理的に困難であると言える。そこで計測されたデータの特徴から後処理としてこれらのラインを平行化するためのキャリブレーションを実現する手法を開発した。本研究成果は情報処理学会CVIM研究会にて発表予定である。

Current Status of Research Progress

2: Research has progressed on the whole more than it was originally planned.

Reason

インダイレクト光伝播におけるマルチスペクトル情報を計測するための専用の光学デバイス及び画像処理アルゴリズムを開発に着手し、初期段階の研究成果を発表するための研究会への投稿が既に完了している。以上のことから「（2）おおむね順調に進展している」と判断した。

Strategy for Future Research Activity

2022年度に開発した，インダイレクト光伝播におけるマルチスペクトル情報を計測するための専用の光学デバイス及び画像処理アルゴリズムそさらに発展させ、物体の内部におけるマルチスペクトル撮影および内部構造の可視化に取り組む予定である。

Research Products

• [Int'l Joint Research] Arizona State University(米国)
• [Int'l Joint Research] Carnegie Mellon University/Arizona State University(米国)
• [Journal Article] Touch Sensing for a Projected Screen Using Slope Disparity Gating (2021)
  • Author(s): Tsuji Mayuka、Kubo Hiroyuki、Jayasuriya Suren、Funatomi Takuya、Mukaigawa Yasuhiro
  • Journal Title: IEEE Access Volume: 9 Pages: 106005-106013
  • DOI: 10.1109/access.2021.3099901
  • Peer Reviewed / Open Access / Int'l Joint Research
• [Journal Article] Blind 3D-printing watermarking using moment alignment and surface norm distribution (2020)
  • Author(s): Delmotte Arnaud、Tanaka Kenichiro、Kubo Hiroyuki、Funatomi Takuya、Mukaigawa Yasuhiro
  • Journal Title: IEEE Transactions on Multimedia Volume: 1 Pages: 1-1
  • DOI: 10.1109/tmm.2020.3025660
• [Journal Article] Blind Watermarking for 3D Printed Objects by Locally Modifying Layer Thickness (2019)
  • Author(s): A. Delmotte, K. Tanaka, H. Kubo, T. Funatomi, Y. Mukaigawa
  • Journal Title: IEEE Trans. on Multimedia Volume: - Issue: 11 Pages: 2780-2791
  • DOI: 10.1109/tmm.2019.2962306
  • NAID: 120006777346
  • Peer Reviewed / Open Access
• [Journal Article] Time-resolved Far Infrared Light Transport for Thermal Photometric Stereo (2019)
  • Author(s): K. Tanaka, Nobuhiro Ikeya, Tsuyoshi Takatani, H. Kubo, T. Funatomi, V. Ravi, A. Kadambi, Y. Mukaigawa
  • Journal Title: IEEE Transaction on Pattern Analysis and Machine Intelligence Volume: EA Issue: 6 Pages: 1-12
  • DOI: 10.1109/tpami.2019.2959304
  • Peer Reviewed / Open Access / Int'l Joint Research
• [Journal Article] Programmable Non-Epipolar Indirect Light Transport: Capture and Analysis (2019)
  • Author(s): H. Kubo, S. Jayasuriya, T. Iwaguchi, T. Funatomi, Y. Mukaigawa, S. Narasimhan
  • Journal Title: IEEE Transactions on Visualization and Computer Graphics Volume: - Issue: 4 Pages: 2421-2436
  • DOI: 10.1109/tvcg.2019.2946812
  • Peer Reviewed / Int'l Joint Research
• [Journal Article] Practical BRDF Reconstruction using Reliable Regions in Geometry from Multi-View Stereo (2019)
  • Author(s): T. Ono, H. Kubo, K. Tanaka, T. Funatomi, Y. Mukaigawa
  • Journal Title: Computational Visual Media Volume: 5 Issue: 4 Pages: 325-336
  • DOI: 10.1007/s41095-019-0150-3
  • Peer Reviewed / Open Access
• [Journal Article] Non-rigid registration of serial section images by blending transforms for 3D reconstruction (2019)
  • Author(s): Kajihara Takehiro、Funatomi Takuya、Makishima Haruyuki、Aoto Takahito、Kubo Hiroyuki、Yamada Shigehito、Mukaigawa Yasuhiro
  • Journal Title: Pattern Recognition Volume: 96 Pages: 106956-106956
  • DOI: 10.1016/j.patcog.2019.07.001
  • NAID: 120006711215
• [Journal Article] Visibility Enhancement by Integrating Refocusing and Direct-Global Separation with Contact Imaging (2019)
  • Author(s): Kuniyoshi Fusataka、Funatomi Takuya、Kubo Hiroyuki、Sawada Yoshihide、Kato Yumiko O.、Mukaigawa Yasuhiro
  • Journal Title: International Journal of Computer Vision Volume: 127 Issue: 8 Pages: 1162-1174
  • DOI: 10.1007/s11263-019-01173-5
• [Presentation] イベント極性を利用したパターン光分離によるイベントカメラ・プロジェクター校正 (2023)
  • Author(s): 戸田 泰我、杉本 志織、曽我部 陽光、久保 尋之
  • Organizer: 情報処理学会CVIM研究会（第233回）
• [Presentation] 微分可能レンダリングを用いたすりガラス越しの鏡面反射物体形状復元 (2022)
  • Author(s): 岩口尭史, 久保尋之, 川崎洋
  • Organizer: 第25回画像の認識・理解シンポジウム(MIRU2022)
• [Presentation] Light Transport Acquisition and Analysis: from Vision to Graphics (2022)
  • Author(s): Hiroyuki Kubo
  • Organizer: Computational Color Imaging Workshop 2022
  • Int'l Joint Research / Invited
• [Presentation] Slope Disparity Gating: System and Applications (2022)
  • Author(s): S. Chandran, H. Kubo, T. Ueda, T. Funatomi, Y. Mukaigawa, S. Jayasuriya
  • Organizer: IEEE International Conference on Computational Photography (ICCP) 2022
  • Int'l Joint Research
• [Presentation] Real-time Imaging System by Light Transport Acquisition and Analysis (2022)
  • Author(s): Hiroyuki Kubo
  • Organizer: Sensing and Imaging through Scattering and Fluctuating Field in Biology, Telecommunication, and Astronomy (SI-Thru) 2022
  • Int'l Joint Research / Invited
• [Presentation] 岩口尭史，久保尋之，川崎洋, "微分可能レンダリングによるコースティクス画像からの鏡面反射物体の形状復元 (2022)
  • Author(s): 岩口尭史，久保尋之
  • Organizer: 情報処理学会CVIM研究会
• [Presentation] 熱合成開口イメージングを用いた画像中の遮蔽物除去と温度補正 (2022)
  • Author(s): 松田美由紀, 田中賢一郎, 舩冨卓哉, 向川康博, 久保尋之
  • Organizer: 映像表現・芸術科学フォーラム2022
• [Presentation] イベントカメラと動的ライン照明を用いた複数の半透明レイヤの深度推定 (2022)
  • Author(s): 木渕 寛太，杉本 志織，曽我部 陽光，久保 尋之
  • Organizer: 情報処理学会CVIM研究会
• [Presentation] 見えないものが見えてくる，時間同期式プロジェクタ－カメラシステムによるコンピュテーショナルイメージング (2022)
  • Author(s): 久保尋之
  • Organizer: 日本色彩学会 視覚情報基礎研究会 第４２回研究発表会
  • Invited
• [Presentation] A parallel guaranteed projector-camera system for dual videography (2021)
  • Author(s): Y. Yamagiwa, H. Kubo
  • Organizer: SIGGRAPH Asia 2021 Poster
  • Int'l Joint Research
• [Presentation] Visibility Enhancement for Transmissive Image using Synchronized Side-by-side Projector-Camera System (2021)
  • Author(s): K. Ogiwara, H. Kubo
  • Organizer: SIGGRAPH Asia 2021 Poster
  • Int'l Joint Research
• [Presentation] 皮下の血管の非接触イメージングを実現する時間同期式プロジェクタ・カメラシステム (2020)
  • Author(s): 久保尋之
  • Organizer: 日本光学会 第47回冬期講習会
  • Invited
• [Presentation] 時間同期式プロジェクタ－カメラシステムによる間接光成分の選択的計測と演算処理による血管の可視化 (2020)
  • Author(s): 久保尋之
  • Organizer: 2020年度フォトニクス技術フォーラム第1回研究会
  • Invited
• [Presentation] Spectral Super-resolution by Image Sensor Tilting (2020)
  • Author(s): K. Kitano, T. Funatomi, R. Yasukuni, K. Tanaka, H. Kubo, Y. Hosokawa, Y. Mukaigawa
  • Organizer: OSA Optical Sensors and Sensing / Imaging and Applied Optics Congresses 2020 (OSA COSI2020)
  • Int'l Joint Research
• [Presentation] 近赤外波長における間接光成分の選択的撮影と演算処理による血管の可視化 (2020)
  • Author(s): 三上徹朗，久保尋之，舩冨卓哉，向川康博
  • Organizer: 第26回画像センシングシンポジウム (SSII 2020)
• [Presentation] Slope Disparity Gatingを用いたプロジェクション映像とのタッチセンシングの実現 (2020)
  • Author(s): 辻茉佑香，久保尋之，舩冨卓哉，向川康博
  • Organizer: 第26回画像センシングシンポジウム (SSII 2020)
• [Presentation] Slope Disparity Gating using a Synchronized Projector-Camera System (2019)
  • Author(s): T. Ueda, H. Kubo, S. Jayasuriya T. Funatomi, Y. Mukaigawa
  • Organizer: International Conference on Computational Photography (ICCP) 2019
  • Int'l Joint Research
• [Presentation] Slope Disparity Gating: 時間同期式プロジェクタ―カメラシステムを用いた反射光の選択的取得と応用 (2019)
  • Author(s): 上田朝己, 久保尋之, S. Jayasuriya, 舩冨卓哉, 向川康博
  • Organizer: Visual Computing 2019
• [Presentation] 単一光子検出器を用いた光の高時間分解能計測による材質の分類 (2019)
  • Author(s): 北島大夢, 北野和哉, 櫛田貫弘, 田中賢一郎, 久保尋之, 舩冨卓哉, 向川康博
  • Organizer: 情報処理学会 CVIM 研究会
• [Presentation] コンピュテーショナルファブリケーションによる半透明度の再現 (2019)
  • Author(s): 高谷剛志, 田中賢一郎, 久保尋之, 舩冨卓哉, 向川康博
  • Organizer: 日本画像学会年次大会（第123回）
• [Presentation] 機械走査式ハイパースペクトルイメージングにおける環境光変動補償 (2019)
  • Author(s): 小川岳大, 舩冨卓哉, 田中賢一郎. 久保尋之, 向川康博
  • Organizer: 第47回画像電子学会年次大会 (2019)
• [Remarks]
  • URL: https://qlab2022.github.io/
• [Remarks] 久保尋之研究室 研究紹介
  • URL: http://www.ji.u-tokai.ac.jp/qlab/research-jp.html