2018 Fiscal Year Research-status Report
ディープニューラルネットワークによる静止画像からの動画像生成手法の開発
| Project/Area Number |
17K12689
|
|---|
| Research Institution | Toyohashi University of Technology |
|---|
Principal Investigator |
遠藤 結城 豊橋技術科学大学, 工学(系)研究科(研究院), 助教 (00790396)
|
|---|
| Project Period (FY) |
2017-04-01 – 2020-03-31
|
| Keywords | コンピュータグラフィックス / 画像処理 / 深層学習 / 畳み込みニューラルネットワーク |
|---|
| Outline of Annual Research Achievements |
前年度に引き続き、単一の静止画像から動画像を生成することを目的として、ディープニューラルネットワークによる動画生成手法の開発を実施した。2018 年度の主な進捗としては、前年度よりも大規模なデータに対しても写実的な動画生成が可能なモデルの改良を検討したことが挙げられる。具体的な本研究の主要なアイディアは、提案手法では動画中のアニメーションを動きと色の変化の2 つの要素に分解して扱い、2 種類のニューラルネットワークモデルにこれらを別々に学習させる点である。さらに、各モデルには画像を直接生成させるわけではなく、入力画像を変換するための色変換マップと流れ場を予測させ、これらに正則化をかけることで、モデルの汎化性能を向上させている。これにより、既存手法よりも格段に高解像度で、長く滑らかなアニメーションを生成できることを確認した。今後更なる有効性の検証が必要なものの、現段階で得られた結果から判断しても世界的に見て例がない品質と考えており、その学術的価値および実用性は顕著であると思われる。実際にここまでの成果をまとめた論文をCVIM・CGVI・DCC 合同研究会において発表し、二つの賞を受賞した。他方で、深層学習による画像生成モデルの研究の一環として、人物画像の再照明用画像生成の研究も分担で遂行してきた。本成果は国内最大規模の査読付きシンポジウムや、世界トップレベルの国際会議に採択されており、その学術的価値は極めて高いものと思われる。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
以下の点から、研究はおおむね順調に進展していると考える。
1）前年度のモデルをさらに改良し、規模の大きいデータセットを用いた評価実験により有効性を確認した点。
2）上記得られた成果を研究会において発表し、複数の賞を受賞した点。
3）上記検討の過程で他の深層学習による画像生成タスクの研究を遂行し、国際会議採択や学術誌採録につながった点。
|
| Strategy for Future Research Activity |
2019 年度は、まず現状の提案手法の有効性を徹底的に検証するために、さらなる実験および評価データの収集を実施する必要がある。具体的には複数の最先端手法と比較、ユーザスタディによる定量評価、複数データセットに対する一般化可能性を検証し、これらの結果を論文にまとめて、国際会議や論文誌への採択を目指す。その後提案手法によって生成される動画のさらなる品質や汎用性の向上を目指し、敵対的損失を利用した学習やattention 構造を持つモデルの利用などを視野に入れながら、さらなる手法の改良に取り組む予定である。
|
