• Search Research Projects
  • Search Researchers
  • How to Use
  1. Back to previous page

Estimation of density distribution of inhomogeneous scattering media with deep learning and physics-based model

Research Project

Project/Area Number 21K21317
Research Category

Grant-in-Aid for Research Activity Start-up

Allocation TypeMulti-year Fund
Review Section 1002:Human informatics, applied informatics and related fields
Research InstitutionNara Institute of Science and Technology

Principal Investigator

Fujimura Yuki  奈良先端科学技術大学院大学, 先端科学技術研究科, 助教 (40908729)

Project Period (FY) 2021-08-30 – 2023-03-31
Project Status Completed (Fiscal Year 2022)
Budget Amount *help
¥3,120,000 (Direct Cost: ¥2,400,000、Indirect Cost: ¥720,000)
Fiscal Year 2022: ¥1,560,000 (Direct Cost: ¥1,200,000、Indirect Cost: ¥360,000)
Fiscal Year 2021: ¥1,560,000 (Direct Cost: ¥1,200,000、Indirect Cost: ¥360,000)
Keywordsコンピュータビジョン / 散乱媒体 / 深層学習 / フォトンマッピング / SPAD
Outline of Research at the Start

霧や煙といった空間に入射した光を散乱させる物質(散乱媒体)の解析は非常に有用である.例えば,空間の散乱媒体の濃度を推定することで撮影された画像の鮮明化などに利用できる.本研究は深層学習を用いて散乱媒体を解析することを目的とする.物理モデルと深層学習によるデータ駆動型アプローチを融合し,少数のRGBカメラといったシンプルな観測系において散乱媒体を解析する.

Outline of Final Research Achievements

This research aims to estimate the density distribution of inhomogeneous participating media with deep learning and a physics-based model. In participating media such as fog or smoke, incident light is scattered by suspended particles, which causes scattered light. In this research, we developed the method to estimate the density distribution of participating media only with commonly-used RGB cameras by exploiting deep-learning technology. The input of the developed method is multiple images captured from different views. A density volume is modeled as the output of a convolutional neural network, and the volume is optimized by reconstructing observed images with photon mapping, which is one of physics-based renderers.

Academic Significance and Societal Importance of the Research Achievements

本研究では深層学習技術とフォトンマッピングを用いて散乱媒体濃度分布の推定を行った.CGでの画像生成に用いられるフォトンマッピングを最適化に用いるためには,画像を生成するすべての過程を微分可能な形で実装する必要がある.本研究は世界で初めてフォトンマッピングを微分可能な形で実装した.実世界の散乱媒体の濃度分布を推定することは,物理モデルの解析や写実的なCGの生成など社会的にも重要である.

Report

(3 results)
  • 2022 Annual Research Report   Final Research Report ( PDF )
  • 2021 Research-status Report
  • Research Products

    (2 results)

All 2023 2022

All Presentation (2 results)

  • [Presentation] 微分可能フォトンマッピングに基づく散乱媒体密度推定2023

    • Author(s)
      瀬戸口諒
    • Organizer
      コンピュータビジョンとイメージメディア(CVIM)
    • Related Report
      2022 Annual Research Report
  • [Presentation] Neural Density Field 上での光子追跡による高時間分解画像の解析手法2022

    • Author(s)
      藤村友貴
    • Organizer
      画像の認識・理解シンポジウム(MIRU)
    • Related Report
      2022 Annual Research Report

URL: 

Published: 2021-10-22   Modified: 2024-01-30  

Information User Guide FAQ News Terms of Use Attribution of KAKENHI

Powered by NII kakenhi