2020 Fiscal Year Annual Research Report
| Project/Area Number |
19H04130
|
|---|
| Research Institution | University of Tsukuba |
|---|
Principal Investigator |
金森 由博 筑波大学, システム情報系, 准教授 (10551418)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
遠藤 結城 筑波大学, システム情報系, 助教 (00790396)
|
|---|
| Project Period (FY) |
2019-04-01 – 2022-03-31
|
| Keywords | 画像分解 / 深層学習 / 光源・形状・反射率推定 / 単眼三次元復元 / 映像編集 |
|---|
| Outline of Annual Research Achievements |
単視点で撮影された画像中の被写体に対し、色・模様、形状、そしてその被写体を照らす光源の 3 要素に由来する成分に分解することで、様々な応用を目指した研究を行った。特に本研究は 3DCG データを前提とした教師あり学習に基づいていることから、申請者がデータを多く保持しており、かつ、応用上重要性が極めて高い「人物」を主な対象として研究を行っている。
主な成果としては大きく分けて 2 つある。(1) 米国 Twindom 社と半年に渡って交渉し、スキャンされた 3D 人物モデル 2,000 体を購入した (購入費用は本研究予算ではなく別予算による)。これらの 3D 人物モデルに対し、すでに開発した意味的領域分割のためのアノテーションツールや、既存の 2D 画像向け意味的領域のニューラルネットワークを用いて、これまで収集した約 2,500 体の 3D 人物モデルに意味的ラベルを付与する。これにより、3D 人物モデルのためのこれまでにない規模のデータセットを構築する。(2) 1 枚の人物全身画像の逆レンダリングおよびそれを利用した再照明に関して、我々の過去の成果 [Kanamori and Endo, 2018] の改良を行った。従来は肌や衣服は拡散反射のみで光沢などを表現できなかったのに対し、実写画像から拡散反射との差分を学習させることで、非拡散反射成分まで表現できるようにした。さらに、静止画向けの手法を動画に適用する場合、単純に 1 枚ずつ別々に適用すると時間的一貫性が保たれないためチラつきが発生するが、そのようなチラつきを低減しつつ再照明を行えるよう拡張した。この再照明についての成果は、国際会議への論文投稿を準備中である。
その他、1 枚の人物画像からの 3D 復元に関しても様々な試行錯誤を行ったが、残念ながら現時点では既存手法を上回る精度が得られていない。
|
| Current Status of Research Progress |
Current Status of Research Progress
3: Progress in research has been slightly delayed.
Reason
昨年度に予定していた 3D 人物モデルの意味的領域分割に関して、多数の 3D 人物モデルは準備できたものの、意味ラベルのアノテーション作業が難航しているため。
|
| Strategy for Future Research Activity |
(1) 人物画像の再照明の研究については、画像から明示的に光沢成分を推定するなどして、さらなる精度向上を試みる。(2) 3D 人物モデルの意味的領域分割については、学習済みの 2D 画像向け意味的領域のニューラルネットワークを活用するなどして、早急にデータセットを構築し、推定のためのニューラルネットワークを構築する。また、(3) 1 枚の人物画像からの 3D 復元に関しては、ニューラルネットワークのアーキテクチャや損失関数を見直し、試行錯誤を継続する。
|
