2021 Fiscal Year Annual Research Report
| Project/Area Number |
19H04130
|
|---|
| Research Institution | University of Tsukuba |
|---|
Principal Investigator |
金森 由博 筑波大学, システム情報系, 准教授 (10551418)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
遠藤 結城 筑波大学, システム情報系, 助教 (00790396)
|
|---|
| Project Period (FY) |
2019-04-01 – 2022-03-31
|
| Keywords | 光学要素分解 / 再照明 / 深層学習 |
|---|
| Outline of Annual Research Achievements |
画像の光学要素分解の応用例である、画像の再照明という課題に対して改良を行った。我々が過去に行った研究では 3DCG データを用いて教師データを作成しており、実写画像に対する汎化性能が低かった。一方、最近の他研究機関による研究では、Light Stage などの特殊な装置で撮影された高品質な教師データを用いており、学習データを増やしづらいことから、そもそも汎化性能が低かった。本研究では、3DCG を教師データとして学習した光学要素分解ネットワークの出力に対し、実写との差分を埋めるネットワークを追加で学習し、3DCG データと実写データとの差を縮めることを実現した。さらに、動画への拡張を行った。動画の各コマ (フレーム) に対して独立に再照明を行うと時間的一貫性が保証されず、結果としてチラつきが発生する。Deep Video Prior と呼ばれる動画安定化手法を使うことでチラつきは抑制できるが、動的な光源を与えて再照明した場合、安定化が強すぎて静止した光源で照らしたかのような再照明結果となってしまう。提案手法では Deep Video Prior の処理に動的な光源の情報を陽に加えることによってこの問題を解決し、動的な光源による照明効果が反映されるようにした。成果として、国内シンポジウム (Visual Computing 2020) にて学生が口頭発表して受賞した他、国際会議 Pacific Graphics 2021 (採択論文は 2 回の査読を経て雑誌 Computer Graphics Forum に採択) に論文が採択された。また、これらの成果を踏まえて、実写ドメインに適応した光学要素分解という研究課題を構想し、基盤 (B) 課題 [22H03606] として採択された。
|
| Research Progress Status |
令和3年度が最終年度であるため、記入しない。
|
| Strategy for Future Research Activity |
令和3年度が最終年度であるため、記入しない。
|
| Remarks |
研究成果のプロジェクトページおよびソースコードを公開している GitHub レポジトリ。Web ページタイトルは字数制限のため一部省略。
|
