2015 Fiscal Year Annual Research Report
2次元映像のフレーム間対応に非依存な3次元映像自動生成手法の開発
| Project/Area Number |
15H06669
|
|---|
| Research Institution | Waseda University |
|---|
Principal Investigator |
飯塚 里志 早稲田大学, 理工学術院, 講師 (30755153)
|
|---|
| Project Period (FY) |
2015-08-28 – 2017-03-31
|
| Keywords | コンピュータグラフィクス / 3次元映像 / 画像処理 / ディープラーニング |
|---|
| Outline of Annual Research Achievements |
2次元映像から写実的な3次元映像を自動生成するため、入力映像のデプスマップを自動生成する手法の研究開発に取り組んだ。画像のデプス推定は3次元映像を生成する上で最も重要な要素技術のひとつである。これを実現するため、2次元の画像フレームを入力するとそのデプスマップが生成されるような多層の畳込みニューラルネットワークモデルを構築した。このネットワークモデルは層の数やフィルタの数など多くのハイパーパラメータをもつため、従来手法のモデル構造も含め、それぞれのハイパーパラメータの組み合わせについて検証した。また、この提案モデルを効率的に学習させるため、屋外や屋内など異なるシーンをもつ画像と、それらに対応するデプスマップがペアになったデータセットを用意した。
さらに、生成された映像の写実性を向上させるため、物体の経年変化の度合いを編集できる手法を開発した。この手法では、画像中の物体が時間とともに変化していく様子を、放射基底関数を用いた関数補間によってシミュレーションする。このシミュレーション結果にもとづき、経年変化後のテクスチャを大域的な評価関数を用いてパッチベースで物体に合成する。これにより自然な物体の経年変化を再現でき、より写実的な映像を制作することができる。開発したテクスチャ合成手法は、3次元映像生成の際の遮蔽領域の合成にも利用できると考えられる。この研究成果はコンピュータグラフィクスの分野で著名な国際会議である、Eurographics2016にフルペーパーで採択された。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
2次元画像から自動でデプスマップを出力できる畳込みニューラルネットワークモデルの構造を提案し、さらに、物体の写実的な経年変化を生成できる手法を実現したため。また、後者は著名な国際会議に採択されたこともあり、上記の評価とした。
|
| Strategy for Future Research Activity |
今後はモデルの改良を行い、さらに良好なデプスマップの生成を目指す。その後、入力映像の遮蔽領域の推定および合成に関する研究に取り組み、写実的な3次元映像の生成を目指す。また、それらの情報を用いた画像ワーピング手法についても研究を行い、効果的に立体感を生成するワーピングアルゴリズムの構築に取り組む。ただし、ワーピング手法については既存手法をベースにすることも考慮に入れる。
|
Research Products
(1 results)
