2016 Fiscal Year Annual Research Report
Automatic Generation of 3D Videos from 2D Videos without Using Correspondence between Frames
| Project/Area Number |
15H06669
|
|---|
| Research Institution | Waseda University |
|---|
Principal Investigator |
飯塚 里志 早稲田大学, 理工学術院, 次席研究員(研究院講師) (30755153)
|
|---|
| Project Period (FY) |
2015-08-28 – 2017-03-31
|
| Keywords | コンピュータグラフィクス / 3次元映像 / 画像処理 / ディープラーニング |
|---|
| Outline of Annual Research Achievements |
昨年度に引き続き，2次元画像からデプスマップを生成する手法の研究開発に取り組んだ．昨年度提案した畳み込みニューラルネットワークの構造を改良することで，より複雑なシーンのデプスを学習させ，詳細なデプスマップを生成できるようにした．また，エネルギー最適化を利用したデプスマップの平滑化を取り入れることにより，滑らかな形状を必要とする3次元シーンに適したデプスマップの生成を行った．さらに，関連手法についても調査を行い，実際に提案手法との比較・検証を行った．
また，このニューラルネットワークの構造設計に関する知見は，白黒写真の自動色付けの研究へ応用した．この研究では，画像の大域的な特徴と局所的な特徴を考慮した新たな畳込みネットワークモデルを用いることで，画像全体の構造を考慮した色付けを行えるようにした．これにより，100年前の白黒写真など，様々なシーンを写した画像において自然な色付けを自動で行えるようになる．色付けの結果はユーザテストによって評価し，約90%の色付け結果が自然であるという回答が得られた．この研究成果によって過去の写真や映像をより写実的に表現することができるため，3次元映像制作にも有用であると考えられる．
さらに，画像中の遮蔽領域のテクスチャを自動生成するための手法の開発にも取り組んだ．本研究では，複数のディープネットワークを用いてシーン全体の情報を学習させ，それによって遮蔽領域のテクスチャを生成する手法を提案した．
上記の白黒写真の自動色付けの研究は，コンピュータグラフィクス分野で最難関の国際会議であるACM SIGGRAPHにフルペーパーで採択された．また，これらディープラーニングに関わる招待講演を複数回行い，研究の積極的な外部発信に取り組んだ．
|
| Research Progress Status |
28年度が最終年度であるため、記入しない。
|
| Strategy for Future Research Activity |
28年度が最終年度であるため、記入しない。
|
