• Search Research Projects
  • Search Researchers
  • How to Use
  1. Back to previous page

Development of Video Generation Method from a Still Image using Deep Neural Networks

Research Project

Project/Area Number 17K12689
Research Category

Grant-in-Aid for Young Scientists (B)

Allocation TypeMulti-year Fund
Research Field High performance computing
Research InstitutionUniversity of Tsukuba (2017, 2019)
Toyohashi University of Technology (2018)

Principal Investigator

Endo Yuki  筑波大学, システム情報系, 助教 (00790396)

Project Period (FY) 2017-04-01 – 2020-03-31
Project Status Completed (Fiscal Year 2019)
Budget Amount *help
¥4,160,000 (Direct Cost: ¥3,200,000、Indirect Cost: ¥960,000)
Fiscal Year 2019: ¥1,300,000 (Direct Cost: ¥1,000,000、Indirect Cost: ¥300,000)
Fiscal Year 2018: ¥650,000 (Direct Cost: ¥500,000、Indirect Cost: ¥150,000)
Fiscal Year 2017: ¥2,210,000 (Direct Cost: ¥1,700,000、Indirect Cost: ¥510,000)
Keywordsコンピュータグラフィックス / 画像処理 / 深層学習 / ニューラルネットワーク / 畳み込みニューラルネットワーク / CNN / LSTM / 生成モデル / コンピュータグラフィクス / 画像 / 画像生成 / 人工知能
Outline of Final Research Achievements

There have been many researches that tackle a problem of understanding and generating videos using AI, but this is still challenging because videos contain much more complicated information than images. Our technique can efficiently train videos by decomposing complicated components into simple ones. Specifically, we train two neural networks separately, each of which trains either motion such as moving cloud or appearance such as day-and-night variation. Our technique can easily create higher-quality videos from landscape images on the Web than prior work.

Academic Significance and Societal Importance of the Research Achievements

AI の代名詞とも言えるディープラーニングの進歩により、一枚の静止画像から未来の動きを予測することが可能となってきた。しかし現在の最先端の技術でさえ、出力となる動画の解像度が 128×128 画素程度という低解像度であったり、出力できるフレーム数が 32 程度とごく短かったりと、低品質な出力に留まっていた。今回開発した技術では、例えば 640×360 画素で 1,000 フレーム以上といった、従来技術よりも格段に高品質な動画を出力できるようになった。本技術は、エンターテイメント用途に加え、景観予測シミュレーションなどへの応用も期待される。

Report

(4 results)
  • 2019 Annual Research Report   Final Research Report ( PDF )
  • 2018 Research-status Report
  • 2017 Research-status Report
  • Research Products

    (27 results)

All 2019 2018 2017 Other

All Journal Article (8 results) (of which Peer Reviewed: 8 results,  Open Access: 2 results) Presentation (17 results) (of which Int'l Joint Research: 5 results,  Invited: 2 results) Remarks (2 results)

  • [Journal Article] Animating landscape2019

    • Author(s)
      Endo Yuki、Kanamori Yoshihiro、Kuriyama Shigeru
    • Journal Title

      ACM Transactions on Graphics

      Volume: 38 Issue: 6 Pages: 1-19

    • DOI

      10.1145/3355089.3356523

    • Related Report
      2019 Annual Research Report
    • Peer Reviewed
  • [Journal Article] Relighting humans2018

    • Author(s)
      Kanamori Yoshihiro、Endo Yuki
    • Journal Title

      ACM Transactions on Graphics

      Volume: 37 Issue: 6 Pages: 1-11

    • DOI

      10.1145/3272127.3275104

    • Related Report
      2018 Research-status Report
    • Peer Reviewed
  • [Journal Article] Transferring pose and augmenting background for deep human-image parsing and its applications2018

    • Author(s)
      Takazumi Kikuchi, Yuki Endo, Yoshihiro Kanamori, Taisuke Hashimoto, and Jun Mitani
    • Journal Title

      Journal of Computational Visual Media

      Volume: - Pages: 1-12

    • Related Report
      2017 Research-status Report
    • Peer Reviewed / Open Access
  • [Journal Article] Approximating 3D Surfaces using Generalized Waterbomb Tessellations2018

    • Author(s)
      Yan Zhao, Yuki Endo, Yoshihiro Kanamori, Jun Mitani
    • Journal Title

      Journal of Computational Design and Engineering

      Volume: - Issue: 4 Pages: 442-448

    • DOI

      10.1016/j.jcde.2018.01.002

    • NAID

      120007128311

    • Related Report
      2017 Research-status Report
    • Peer Reviewed / Open Access
  • [Journal Article] 映像とセンサ信号を用いたドライブレコーダデータからのヒヤリハット検出手法2017

    • Author(s)
      山本 修平, 遠藤 結城, 戸田 浩之
    • Journal Title

      情報処理学会論文誌データベース(TOD)

      Volume: 10 Pages: 26-30

    • NAID

      170000149101

    • Related Report
      2017 Research-status Report
    • Peer Reviewed
  • [Journal Article] Deep Reverse Tone Mapping2017

    • Author(s)
      Yuki Endo, Yoshihiro Kanamori, Jun Mitani
    • Journal Title

      ACM Transactions on Graphics (Proc. of SIGGRAPH ASIA 2017)

      Volume: 36 Issue: 6 Pages: 1-10

    • DOI

      10.1145/3130800.3130834

    • Related Report
      2017 Research-status Report
    • Peer Reviewed
  • [Journal Article] Semi-Automatic Conversion of 3D Shape into Flat-Foldable Polygonal Model2017

    • Author(s)
      Emi Miyamoto, Yuki Endo, Yoshihiro Kanamori, Jun Mitani
    • Journal Title

      Computer graphics Forum (Proc. of Pacific Graphics 2017)

      Volume: 36 Issue: 7 Pages: 41-50

    • DOI

      10.1111/cgf.13270

    • Related Report
      2017 Research-status Report
    • Peer Reviewed
  • [Journal Article] 時間帯を考慮したパーソナライズ目的地予測2017

    • Author(s)
      瀧本祥章, 西田京介, 遠藤結城, 戸田浩之, 澤田宏, 石川佳治
    • Journal Title

      電子情報通信学会論文誌 D

      Volume: J100-D Pages: 472-484

    • Related Report
      2017 Research-status Report
    • Peer Reviewed
  • [Presentation] Sketch-based Deep Generative Models Conditioned on a Background Image2019

    • Author(s)
      Kurei Fujiwara, Yuki Endo, Shieru Kuriyama
    • Organizer
      6th International Conference on Advanced Informatics
    • Related Report
      2019 Annual Research Report
    • Int'l Joint Research
  • [Presentation] 流れ場生成モデルを用いたワーピングによる人物動画生成2019

    • Author(s)
      鬼塚慎吾, 遠藤結城, 栗山繁
    • Organizer
      第18回情報科学技術フォーラム
    • Related Report
      2019 Annual Research Report
  • [Presentation] Interactive Edge-Aware Segmentation of Character Illustrations for Articulated 2D Animations2018

    • Author(s)
      Takumi Yajima, Yoshihiro Kanamori, Yuki Endo, Jun Mitani
    • Organizer
      NICOGRAPH International 2018
    • Related Report
      2018 Research-status Report
    • Int'l Joint Research
  • [Presentation] 色と動き情報の学習による静止画像からのシネマグラフ生成2018

    • Author(s)
      遠藤 結城, 金森 由博, 栗山繁
    • Organizer
      CVIM・CGVI・DCC 合同研究会
    • Related Report
      2018 Research-status Report
  • [Presentation] 人物の単視点全身画像の再照明2018

    • Author(s)
      金森 由博, 遠藤 結城
    • Organizer
      Visual Computing 2018
    • Related Report
      2018 Research-status Report
  • [Presentation] Deep Reverse Tone Mapping2018

    • Author(s)
      遠藤 結城, 金森 由博, 三谷 純
    • Organizer
      Visual Computing 2018 国際会議 / SIGGRAPH Asia 2017 採択論文 招待講演
    • Related Report
      2018 Research-status Report
    • Invited
  • [Presentation] 線画イラストにおけるカーネルSVMを用いた閉領域の奥行き推定2018

    • Author(s)
      昆将太郎,金森由博,遠藤結城,三谷 純
    • Organizer
      情報処理学会第80回全国大会
    • Related Report
      2017 Research-status Report
  • [Presentation] エッジ強調に基づくイラスト画像のための対話的領域分割2018

    • Author(s)
      谷島拓実,金森由博,遠藤結城,三谷 純
    • Organizer
      情報処理学会第80回全国大会
    • Related Report
      2017 Research-status Report
  • [Presentation] Transferring Pose and Augmenting Background Variation for Deep Human Image Parsing2017

    • Author(s)
      Takazumi Kikuchi, Yuki Endo, Yoshihiro Kanamori, Jun Mitani
    • Organizer
      Pacific Graphics 2017
    • Related Report
      2017 Research-status Report
    • Int'l Joint Research
  • [Presentation] Improving Bivariate BRDF Acquisition by Optimizing Light Directions2017

    • Author(s)
      Taisuke Hashimoto, Yoshihiro Kanamori, Yuki Endo, Jun Mitani
    • Organizer
      Pacific Graphics 2017
    • Related Report
      2017 Research-status Report
    • Int'l Joint Research
  • [Presentation] Predicting Destinations from Partial Trajectories Using Recurrent Neural Network2017

    • Author(s)
      Yuki Endo, Kyosuke Nishida, Hiroyuki Toda, and Hiroshi Sawada
    • Organizer
      PAKDD2017
    • Related Report
      2017 Research-status Report
    • Int'l Joint Research
  • [Presentation] 映像とセンサを用いたドライブレコーダデータからのヒヤリハット検出手法2017

    • Author(s)
      山本修平, 遠藤 結城, 戸田 浩之
    • Organizer
      WebDB Forum 2017
    • Related Report
      2017 Research-status Report
  • [Presentation] 長期的な状態依存性を考慮した移動軌跡からの目的地予測2017

    • Author(s)
      遠藤 結城,西田 京介,戸田 浩之,澤田 宏
    • Organizer
      第84回MBL研究会
    • Related Report
      2017 Research-status Report
    • Invited
  • [Presentation] ポーズ情報の考慮と背景データの拡張によるCNNを用いた人物画像の意味的領域分割2017

    • Author(s)
      菊池 敬済, 遠藤 結城, 金森 由博, 橋本 泰輔, 三谷 純
    • Organizer
      Visual Computing/グラフィクスとCAD合同シンポジウム 201
    • Related Report
      2017 Research-status Report
  • [Presentation] 簡略化モデルによる折紙形状構築手法2017

    • Author(s)
      田中 慎一, 遠藤 結城, 金森 由博, 三谷 純
    • Organizer
      Visual Computing/グラフィクスとCAD合同シンポジウム 2017
    • Related Report
      2017 Research-status Report
  • [Presentation] 3次元形状を折りたたみ可能な立体へ自動変換する手法の提案2017

    • Author(s)
      宮本 惠未, 遠藤 結城, 金森 由博, 三谷 純
    • Organizer
      Visual Computing/グラフィクスと CAD 合同シンポジウム 2017
    • Related Report
      2017 Research-status Report
  • [Presentation] 光源配置の最適化による2変数BRDF測定の改良2017

    • Author(s)
      橋本 泰輔, 金森 由博, 遠藤 結城, 三谷 純
    • Organizer
      Visual Computing/グラフィクスと CAD 合同シンポジウム 2017
    • Related Report
      2017 Research-status Report
  • [Remarks] SIGGRAPH ASIA 2019 プロジェクトページ

    • URL

      http://www.cgg.cs.tsukuba.ac.jp/~endo/projects/AnimatingLandscape/

    • Related Report
      2019 Annual Research Report
  • [Remarks] 研究成果に関するWebページ

    • URL

      http://www.cgg.cs.tsukuba.ac.jp/~endo/

    • Related Report
      2017 Research-status Report

URL: 

Published: 2017-04-28   Modified: 2021-02-19  

Information User Guide FAQ News Terms of Use Attribution of KAKENHI

Powered by NII kakenhi