| 研究課題/領域番号 |
21K21317
|
|---|
| 研究機関 | 奈良先端科学技術大学院大学 |
|---|
研究代表者 |
藤村 友貴 奈良先端科学技術大学院大学, 先端科学技術研究科, 助教 (40908729)
|
|---|
| 研究期間 (年度) |
2021-08-30 – 2023-03-31
|
| キーワード | 深層学習 / SPAD |
|---|
| 研究実績の概要 |
本年度はSingle Photon Avalanche Diode (SPAD) によるシーンの解析方法について検討を行った．当初の研究計画にあるように，本研究は散乱媒体の濃度分布推定を目的としている．この問題に対して，空間中の散乱媒体の濃度をパラメトリックに表現するのではなく，光子の確率的生成器を深層学習モデルによって実装し，生成された光子が空間を通過した回数によって濃度分布を表現する定式化を行った．
実際に散乱媒体の濃度分布推定を行う前に，より単純な環境光の一種である相互反射を対象に手法の実装を行った．対象のシーンについては，MitsubaToFRenderer [SIGGRAPH 2019] によるシミュレーションによって作成を行った．シミュレーションで得られたSPAD画像と一致するような光子を生成する深層学習モデルの学習を行った．
深層学習モデルはPyTorch を用いて実装した．学習を行うためにはすべての演算を微分可能な形で実装する必要がある．SPADの観測はヒストグラムであるが，センサに到達した光子一つ一つに対して光路長を計算し，各光路長における光子の数を数えるという処理は微分することができない．この問題に対して，光路長が与えられたときに，その光路長に対応する要素が1となるようなone-hot ベクトルを生成するモジュールを微分可能な形で実装した．
今年度提案した手法は現在も実装段階であり，次年度以降に手法の評価を行う予定である．
|
| 現在までの達成度 (区分) |
現在までの達成度 (区分)
3: やや遅れている
理由
当初は通常のカメラを用いた解析を行う予定であったが，近々SPADカメラが市場に出回ることが予想されるため，より複雑な解析を行うことが可能であるSPADの使用に変更した．それに伴い，手法全体の定式化及び実装の見直しを行ったため，今年度においては手法の評価まで到達することができなかった．
|
| 今後の研究の推進方策 |
次年度では現在進めている実装を完了し，評価を行なっていく予定である．シミュレーションにより作成したデータに加えて，弊研究室が所有するSPADを用いて実データを取得する．学習した光子生成器が生成した光子のパスから双方向反射分布関数が推定できるかを評価する．提案した手法については国内の研究会で発表を行う予定である．
相互反射を対象として現在の手法の実装・評価が完了次第，当初の目的である散乱媒体の濃度分布推定に取り組む．今年度と同様，まずはMitsubaToFRenderer によるシミュレーションを行いデータを作成する．SPADによる実データでの評価を行なったのち，これまでの成果とまとめて国際会議や国際論文誌に投稿を行う予定である．
|
| 次年度使用額が生じた理由 |
当初は深層学習モデルの学習のための計算サーバに搭載するGPUとしてRTX A6000 を購入する予定であったが，現在所有しているRTX 3090ベースのGPGPUサーバに直接導入することができないことがわかり購入を見送ったため．次年度ではサーバ自体の購入も含め再調整を行い使用していく予定である．
|
