2022 Fiscal Year Annual Research Report
深層学習と物理モデルの融合によるシンプルな観測系での不均一散乱媒体の濃度分布推定
| Project/Area Number |
21K21317
|
|---|
| Research Institution | Nara Institute of Science and Technology |
|---|
Principal Investigator |
藤村 友貴 奈良先端科学技術大学院大学, 先端科学技術研究科, 助教 (40908729)
|
|---|
| Project Period (FY) |
2021-08-30 – 2023-03-31
|
| Keywords | 深層学習 / 散乱媒体 / フォトンマッピング |
|---|
| Outline of Annual Research Achievements |
本年度は環境光の一種である相互反射と，当初の目的である体積散乱のモデル化について研究を行った．
相互反射のモデル化では，多層パーセプトロンにより表現されるニューラル密度場上での定式化を試みた．物理モデルに基づくフォトンマッピングの考え方を応用し，密度場上における光子の反射を微分可能な形で実装した．これにより，入力した画像との差が小さくなるように密度場を最適化することができ，また空間中で生じた相互反射の可視化を実現した．
体積散乱のモデル化では，相互反射のモデル化で得られた知見を応用した．散乱媒体の濃度分布を畳み込みニューラルネットワークから出力されるニューラル密度場として表現し，この密度場上でフォトンマッピングを微分可能な形で実装することで，入力した画像との誤差が小さくなるように散乱媒体の濃度分布を最適化することを可能とした．
さらに今年度では，相互反射のモデル化において用いた高時間分解画像の解析手法を，非視線方向撮影の技術へも応用した．この手法では，シーンをニューラル陰関数表面としてモデル化し，非視線方向撮影における高精度の三次元復元を実現した．本手法は現在トップカンファレンスに投稿中である．
研究期間全体を通して，相互反射と体積散乱の深層学習を用いたモデル化，及び物理モデルに基づくフォトンマッピングの最適化への応用に取り組んだ．体積散乱のモデル化において，当初の研究計画での2次元画像のみのシンプルな観測系での濃度分布推定を実現した．本手法では，畳み込みニューラルネットワークから出力された密度場として散乱媒体を定式化しており，またこの定式化が最適化の高速化と安定化に大きく貢献した．したがって当初の研究計画通り，濃度分布推定において深層学習と物理モデルを融合させることの有効性を明らかにした．
|
