2019 Fiscal Year Annual Research Report
| Project/Area Number |
19H04130
|
|---|
| Research Institution | University of Tsukuba |
|---|
Principal Investigator |
金森 由博 筑波大学, システム情報系, 准教授 (10551418)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
遠藤 結城 豊橋技術科学大学, 工学(系)研究科(研究院), 助教 (00790396)
|
|---|
| Project Period (FY) |
2019-04-01 – 2022-03-31
|
| Keywords | 画像分解 / 深層学習 / 光源・形状・反射率推定 / 単眼三次元復元 / 映像編集 |
|---|
| Outline of Annual Research Achievements |
単視点で撮影された画像中の被写体に対し、色・模様、形状、そしてその被写体を照らす光源の 3 要素に由来する成分に分解することで、様々な応用を目指した研究を行った。特に本研究は 3DCG データを前提とした教師あり学習に基づいていることから、申請者がデータを多く保持しており、かつ、応用上重要性が極めて高い「人物」を主な対象として研究を行っている。
主な成果としては大きく分けて 2 つある。(1) 色・模様の分布に関連する意味的領域分割の研究と、(2) 応用例の 1 つとして挙げた、単視点画像からの 3 次元形状復元である。(1) について、人物 3D モデルの意味的領域分割のための対話的アノテーションツールを開発し、それを用いて手動で正解データを作成して、教師あり学習に基づく人物 3D モデルの意味的領域分割を行った。(2) に関して、当初は過去の研究で行った光伝達マップ推定モジュールを利用し、いわゆる shape-from-shading に基づく形状復元を行っていた。しかし光伝達マップ推定モジュールを使わずに GAN を用いて推定を行っても良好な結果が得られたことから、現在は光伝達マップ推定モジュールを使わずに GAN を用いた推定を実験している。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
上記 (1) の意味的領域分割のうち、人物 3D モデルのための意味的領域分割については国内ですでに発表しており (企業賞を受賞)、より内容を充実させて国際会議・雑誌への投稿を予定している。上記 (2) については未発表ではあるが、実験が終盤であり、まもなく論文執筆にとりかかれる状態である。
|
| Strategy for Future Research Activity |
引き続き、現在進行中の研究を遂行するとともに、(3) 光沢成分の分解、(4) 申請時に応用例として挙げた、単視点で撮影された動画への拡張などに取り組みたいと考えている。(3) については、申請者らが過去に行った、拡散反射のための球面調和関数への展開を光沢反射に拡張し、定式化する。教師あり学習の枠組みで行う場合、光沢成分を含んだ 3DCG データの確保が課題であるが、比較的入手しやすい顔モデルに限定してデータを収集することを検討している。(4) については、申請者らが過去に行った研究を時間方向に拡張する。その際、時間的な一貫性を保つためにオプティカルフローの推定を行って、他の光学要素の時間的一貫性を保つための定式化に組み込む。また、より実用的にするために、被写体のマスク抽出も同時に行う。
|
Research Products
(3 results)
