深層学習と物理モデルの融合によるシンプルな観測系での不均一散乱媒体の濃度分布推定

2021 Fiscal Year Research-status Report

• Project/Area Number: 21K21317
• Research Institution: Nara Institute of Science and Technology
• Principal Investigator: 藤村 友貴 奈良先端科学技術大学院大学, 先端科学技術研究科, 助教 (40908729)
• Project Period (FY): 2021-08-30 – 2023-03-31
• Keywords: 深層学習 / SPAD

Outline of Annual Research Achievements

本年度はSingle Photon Avalanche Diode (SPAD) によるシーンの解析方法について検討を行った．当初の研究計画にあるように，本研究は散乱媒体の濃度分布推定を目的としている．この問題に対して，空間中の散乱媒体の濃度をパラメトリックに表現するのではなく，光子の確率的生成器を深層学習モデルによって実装し，生成された光子が空間を通過した回数によって濃度分布を表現する定式化を行った．
実際に散乱媒体の濃度分布推定を行う前に，より単純な環境光の一種である相互反射を対象に手法の実装を行った．対象のシーンについては，MitsubaToFRenderer [SIGGRAPH 2019] によるシミュレーションによって作成を行った．シミュレーションで得られたSPAD画像と一致するような光子を生成する深層学習モデルの学習を行った．
深層学習モデルはPyTorch を用いて実装した．学習を行うためにはすべての演算を微分可能な形で実装する必要がある．SPADの観測はヒストグラムであるが，センサに到達した光子一つ一つに対して光路長を計算し，各光路長における光子の数を数えるという処理は微分することができない．この問題に対して，光路長が与えられたときに，その光路長に対応する要素が1となるようなone-hot ベクトルを生成するモジュールを微分可能な形で実装した．
今年度提案した手法は現在も実装段階であり，次年度以降に手法の評価を行う予定である．

Current Status of Research Progress

3: Progress in research has been slightly delayed.

Reason

当初は通常のカメラを用いた解析を行う予定であったが，近々SPADカメラが市場に出回ることが予想されるため，より複雑な解析を行うことが可能であるSPADの使用に変更した．それに伴い，手法全体の定式化及び実装の見直しを行ったため，今年度においては手法の評価まで到達することができなかった．

Strategy for Future Research Activity

次年度では現在進めている実装を完了し，評価を行なっていく予定である．シミュレーションにより作成したデータに加えて，弊研究室が所有するSPADを用いて実データを取得する．学習した光子生成器が生成した光子のパスから双方向反射分布関数が推定できるかを評価する．提案した手法については国内の研究会で発表を行う予定である．
相互反射を対象として現在の手法の実装・評価が完了次第，当初の目的である散乱媒体の濃度分布推定に取り組む．今年度と同様，まずはMitsubaToFRenderer によるシミュレーションを行いデータを作成する．SPADによる実データでの評価を行なったのち，これまでの成果とまとめて国際会議や国際論文誌に投稿を行う予定である．

Causes of Carryover

当初は深層学習モデルの学習のための計算サーバに搭載するGPUとしてRTX A6000 を購入する予定であったが，現在所有しているRTX 3090ベースのGPGPUサーバに直接導入することができないことがわかり購入を見送ったため．次年度ではサーバ自体の購入も含め再調整を行い使用していく予定である．