| 研究課題/領域番号 |
19H04130
|
|---|
| 研究機関 | 筑波大学 |
|---|
研究代表者 |
金森 由博 筑波大学, システム情報系, 准教授 (10551418)
|
|---|
| 研究分担者 |
遠藤 結城 筑波大学, システム情報系, 助教 (00790396)
|
|---|
| 研究期間 (年度) |
2019-04-01 – 2022-03-31
|
| キーワード | 光学要素分解 / 再照明 / 深層学習 |
|---|
| 研究実績の概要 |
画像の光学要素分解の応用例である、画像の再照明という課題に対して改良を行った。我々が過去に行った研究では 3DCG データを用いて教師データを作成しており、実写画像に対する汎化性能が低かった。一方、最近の他研究機関による研究では、Light Stage などの特殊な装置で撮影された高品質な教師データを用いており、学習データを増やしづらいことから、そもそも汎化性能が低かった。本研究では、3DCG を教師データとして学習した光学要素分解ネットワークの出力に対し、実写との差分を埋めるネットワークを追加で学習し、3DCG データと実写データとの差を縮めることを実現した。さらに、動画への拡張を行った。動画の各コマ (フレーム) に対して独立に再照明を行うと時間的一貫性が保証されず、結果としてチラつきが発生する。Deep Video Prior と呼ばれる動画安定化手法を使うことでチラつきは抑制できるが、動的な光源を与えて再照明した場合、安定化が強すぎて静止した光源で照らしたかのような再照明結果となってしまう。提案手法では Deep Video Prior の処理に動的な光源の情報を陽に加えることによってこの問題を解決し、動的な光源による照明効果が反映されるようにした。成果として、国内シンポジウム (Visual Computing 2020) にて学生が口頭発表して受賞した他、国際会議 Pacific Graphics 2021 (採択論文は 2 回の査読を経て雑誌 Computer Graphics Forum に採択) に論文が採択された。また、これらの成果を踏まえて、実写ドメインに適応した光学要素分解という研究課題を構想し、基盤 (B) 課題 [22H03606] として採択された。
|
| 現在までの達成度 (段落) |
令和3年度が最終年度であるため、記入しない。
|
| 今後の研究の推進方策 |
令和3年度が最終年度であるため、記入しない。
|
| 備考 |
研究成果のプロジェクトページおよびソースコードを公開している GitHub レポジトリ。Web ページタイトルは字数制限のため一部省略。
|
