Multi-layer Light Field for Underwater 3D Shape Recovery

• Project/Area Number: 21K21319
• Research Category: Grant-in-Aid for Research Activity Start-up
• Allocation Type: Multi-year Fund
• Review Section: 1002:Human informatics, applied informatics and related fields
• Research Institution: Kyushu Institute of Technology
• Principal Investigator: Kawahara Ryo 九州工業大学, 大学院情報工学研究院, 助教 (80911263)
• Project Period (FY): 2021-08-30 – 2023-03-31
• Project Status: Completed (Fiscal Year 2022)
• Budget Amount: ¥2,340,000 (Direct Cost: ¥1,800,000、Indirect Cost: ¥540,000); Fiscal Year 2022: ¥1,300,000 (Direct Cost: ¥1,000,000、Indirect Cost: ¥300,000); Fiscal Year 2021: ¥1,040,000 (Direct Cost: ¥800,000、Indirect Cost: ¥240,000)
• Keywords: コンピュータビジョン / コンピュテーショナルフォトグラフィ / ３次元形状復元 / 水中撮影 / 光線空間 / 偏光解析 / 水中3次元形状復元 / 偏光 / カメラキャリブレーション

Outline of Research at the Start

空気中とは大きく異なる光学系をなす水中撮影環境の視覚情報処理を目指すにあたり，水中環境における屈折・散乱・吸収といった現象を含む視覚世界を解き明かす手がかりとして，本研究は人間の視覚ですら利用しない近赤外光や偏光の観測情報を利用する．そしてこれらを既存の光線空間の枠組みに導入するだけでなく，光線の表現を物体内部（媒質間の変換）へと拡張した多領域光線空間のモデル化による水中物体の3次元形状復元という研究課題に取り組む．本研究課題の遂行は，水中探査技術，生命情報学，水産業などをはじめとした多分野への波及効果が期待される．

Outline of Final Research Achievements

This research aims to recover the 3D shape of underwater objects by modeling the multi-layer light field. In FY2021, we modeled the multi-layer light field that is illuminated to and observed from a undewater object in a measurement system consisting of an active polarization light source and a polarization camera. In addition, we described the transformation relationship between each light field and developed an analysis method for this model. In FY2022, we demonstrated the effectiveness of the calibration method for the imaging system and the 3D reconstruction method for underwater objects through evaluation, including real image experiments.

Academic Significance and Societal Importance of the Research Achievements

本研究の成果は，水中環境における屈折・散乱・吸収といった現象を含む視覚世界を解き明かす手がかりとして，特に偏光情報を利用するための理論の構築，およびその解析による3次元復元技術の具体的な提案と有効性の実証を行った点に学術的貢献がある．
また，本研究成果はコンピュータビジョン技術を水中撮影環境へ拡張する技術に貢献する．つまり，撮影画像から被写体の形，位置，色，質感，運動などの視覚的情報を非接触かつ非破壊で獲得する方法として，視覚情報処理分野への貢献，水中探査技術への応用，受精卵や水中生物の解析による生命情報学への貢献，養殖などの第1次産業における情報化といった波及効果が期待される．

Research Products

• [Int'l Joint Research] ミネソタ大学(米国)
• [Presentation] Polarimetric Underwater Stereo (2023)
  • Author(s): R Kawahara, MYJ Kuo, T Okabe
  • Organizer: Image Analysis: 23rd Scandinavian Conference, SCIA 2023, Sirkka, Finland, April 18–21, 2023, Proceedings, Part II
  • Int'l Joint Research