• 研究課題をさがす
  • 研究者をさがす
  • KAKENの使い方
  1. 前のページに戻る

ディープニューラルネットワークによる静止画像からの動画像生成手法の開発

研究課題

研究課題/領域番号 17K12689
研究種目

若手研究(B)

配分区分基金
研究分野 高性能計算
研究機関筑波大学 (2017, 2019)
豊橋技術科学大学 (2018)

研究代表者

遠藤 結城  筑波大学, システム情報系, 助教 (00790396)

研究期間 (年度) 2017-04-01 – 2020-03-31
研究課題ステータス 完了 (2019年度)
配分額 *注記
4,160千円 (直接経費: 3,200千円、間接経費: 960千円)
2019年度: 1,300千円 (直接経費: 1,000千円、間接経費: 300千円)
2018年度: 650千円 (直接経費: 500千円、間接経費: 150千円)
2017年度: 2,210千円 (直接経費: 1,700千円、間接経費: 510千円)
キーワードコンピュータグラフィックス / 画像処理 / 深層学習 / ニューラルネットワーク / 畳み込みニューラルネットワーク / CNN / LSTM / 生成モデル / コンピュータグラフィクス / 画像 / 画像生成 / 人工知能
研究成果の概要

動画は画像と比べて遥かに複雑な情報を含むことから、AI による動画の理解・生成は画像以上に難しい問題として、数多くの研究者によって取り組まれてきた。今回開発した技術では、自然景観画像を対象に、複雑な変化を複数の単純な要素に分解して扱うことで、効率的な動画の学習を実現した。具体的には、雲のような細かい動きと昼夜のような全体的な色の変化を扱うニューラルネットワークを別々に学習させる。今回開発した技術により、インターネット上の景観画像から手軽に、従来技術よりも高品質な時間経過の動画を生成できるようになった。

研究成果の学術的意義や社会的意義

AI の代名詞とも言えるディープラーニングの進歩により、一枚の静止画像から未来の動きを予測することが可能となってきた。しかし現在の最先端の技術でさえ、出力となる動画の解像度が 128×128 画素程度という低解像度であったり、出力できるフレーム数が 32 程度とごく短かったりと、低品質な出力に留まっていた。今回開発した技術では、例えば 640×360 画素で 1,000 フレーム以上といった、従来技術よりも格段に高品質な動画を出力できるようになった。本技術は、エンターテイメント用途に加え、景観予測シミュレーションなどへの応用も期待される。

報告書

(4件)
  • 2019 実績報告書   研究成果報告書 ( PDF )
  • 2018 実施状況報告書
  • 2017 実施状況報告書
  • 研究成果

    (27件)

すべて 2019 2018 2017 その他

すべて 雑誌論文 (8件) (うち査読あり 8件、 オープンアクセス 2件) 学会発表 (17件) (うち国際学会 5件、 招待講演 2件) 備考 (2件)

  • [雑誌論文] Animating landscape2019

    • 著者名/発表者名
      Endo Yuki、Kanamori Yoshihiro、Kuriyama Shigeru
    • 雑誌名

      ACM Transactions on Graphics

      巻: 38 号: 6 ページ: 1-19

    • DOI

      10.1145/3355089.3356523

    • 関連する報告書
      2019 実績報告書
    • 査読あり
  • [雑誌論文] Relighting humans2018

    • 著者名/発表者名
      Kanamori Yoshihiro、Endo Yuki
    • 雑誌名

      ACM Transactions on Graphics

      巻: 37 号: 6 ページ: 1-11

    • DOI

      10.1145/3272127.3275104

    • 関連する報告書
      2018 実施状況報告書
    • 査読あり
  • [雑誌論文] Transferring pose and augmenting background for deep human-image parsing and its applications2018

    • 著者名/発表者名
      Takazumi Kikuchi, Yuki Endo, Yoshihiro Kanamori, Taisuke Hashimoto, and Jun Mitani
    • 雑誌名

      Journal of Computational Visual Media

      巻: - ページ: 1-12

    • 関連する報告書
      2017 実施状況報告書
    • 査読あり / オープンアクセス
  • [雑誌論文] Approximating 3D Surfaces using Generalized Waterbomb Tessellations2018

    • 著者名/発表者名
      Yan Zhao, Yuki Endo, Yoshihiro Kanamori, Jun Mitani
    • 雑誌名

      Journal of Computational Design and Engineering

      巻: - 号: 4 ページ: 442-448

    • DOI

      10.1016/j.jcde.2018.01.002

    • NAID

      120007128311

    • 関連する報告書
      2017 実施状況報告書
    • 査読あり / オープンアクセス
  • [雑誌論文] 映像とセンサ信号を用いたドライブレコーダデータからのヒヤリハット検出手法2017

    • 著者名/発表者名
      山本 修平, 遠藤 結城, 戸田 浩之
    • 雑誌名

      情報処理学会論文誌データベース(TOD)

      巻: 10 ページ: 26-30

    • NAID

      170000149101

    • 関連する報告書
      2017 実施状況報告書
    • 査読あり
  • [雑誌論文] Deep Reverse Tone Mapping2017

    • 著者名/発表者名
      Yuki Endo, Yoshihiro Kanamori, Jun Mitani
    • 雑誌名

      ACM Transactions on Graphics (Proc. of SIGGRAPH ASIA 2017)

      巻: 36 号: 6 ページ: 1-10

    • DOI

      10.1145/3130800.3130834

    • 関連する報告書
      2017 実施状況報告書
    • 査読あり
  • [雑誌論文] Semi-Automatic Conversion of 3D Shape into Flat-Foldable Polygonal Model2017

    • 著者名/発表者名
      Emi Miyamoto, Yuki Endo, Yoshihiro Kanamori, Jun Mitani
    • 雑誌名

      Computer graphics Forum (Proc. of Pacific Graphics 2017)

      巻: 36 号: 7 ページ: 41-50

    • DOI

      10.1111/cgf.13270

    • 関連する報告書
      2017 実施状況報告書
    • 査読あり
  • [雑誌論文] 時間帯を考慮したパーソナライズ目的地予測2017

    • 著者名/発表者名
      瀧本祥章, 西田京介, 遠藤結城, 戸田浩之, 澤田宏, 石川佳治
    • 雑誌名

      電子情報通信学会論文誌 D

      巻: J100-D ページ: 472-484

    • 関連する報告書
      2017 実施状況報告書
    • 査読あり
  • [学会発表] Sketch-based Deep Generative Models Conditioned on a Background Image2019

    • 著者名/発表者名
      Kurei Fujiwara, Yuki Endo, Shieru Kuriyama
    • 学会等名
      6th International Conference on Advanced Informatics
    • 関連する報告書
      2019 実績報告書
    • 国際学会
  • [学会発表] 流れ場生成モデルを用いたワーピングによる人物動画生成2019

    • 著者名/発表者名
      鬼塚慎吾, 遠藤結城, 栗山繁
    • 学会等名
      第18回情報科学技術フォーラム
    • 関連する報告書
      2019 実績報告書
  • [学会発表] Interactive Edge-Aware Segmentation of Character Illustrations for Articulated 2D Animations2018

    • 著者名/発表者名
      Takumi Yajima, Yoshihiro Kanamori, Yuki Endo, Jun Mitani
    • 学会等名
      NICOGRAPH International 2018
    • 関連する報告書
      2018 実施状況報告書
    • 国際学会
  • [学会発表] 色と動き情報の学習による静止画像からのシネマグラフ生成2018

    • 著者名/発表者名
      遠藤 結城, 金森 由博, 栗山繁
    • 学会等名
      CVIM・CGVI・DCC 合同研究会
    • 関連する報告書
      2018 実施状況報告書
  • [学会発表] 人物の単視点全身画像の再照明2018

    • 著者名/発表者名
      金森 由博, 遠藤 結城
    • 学会等名
      Visual Computing 2018
    • 関連する報告書
      2018 実施状況報告書
  • [学会発表] Deep Reverse Tone Mapping2018

    • 著者名/発表者名
      遠藤 結城, 金森 由博, 三谷 純
    • 学会等名
      Visual Computing 2018 国際会議 / SIGGRAPH Asia 2017 採択論文 招待講演
    • 関連する報告書
      2018 実施状況報告書
    • 招待講演
  • [学会発表] 線画イラストにおけるカーネルSVMを用いた閉領域の奥行き推定2018

    • 著者名/発表者名
      昆将太郎,金森由博,遠藤結城,三谷 純
    • 学会等名
      情報処理学会第80回全国大会
    • 関連する報告書
      2017 実施状況報告書
  • [学会発表] エッジ強調に基づくイラスト画像のための対話的領域分割2018

    • 著者名/発表者名
      谷島拓実,金森由博,遠藤結城,三谷 純
    • 学会等名
      情報処理学会第80回全国大会
    • 関連する報告書
      2017 実施状況報告書
  • [学会発表] Transferring Pose and Augmenting Background Variation for Deep Human Image Parsing2017

    • 著者名/発表者名
      Takazumi Kikuchi, Yuki Endo, Yoshihiro Kanamori, Jun Mitani
    • 学会等名
      Pacific Graphics 2017
    • 関連する報告書
      2017 実施状況報告書
    • 国際学会
  • [学会発表] Improving Bivariate BRDF Acquisition by Optimizing Light Directions2017

    • 著者名/発表者名
      Taisuke Hashimoto, Yoshihiro Kanamori, Yuki Endo, Jun Mitani
    • 学会等名
      Pacific Graphics 2017
    • 関連する報告書
      2017 実施状況報告書
    • 国際学会
  • [学会発表] Predicting Destinations from Partial Trajectories Using Recurrent Neural Network2017

    • 著者名/発表者名
      Yuki Endo, Kyosuke Nishida, Hiroyuki Toda, and Hiroshi Sawada
    • 学会等名
      PAKDD2017
    • 関連する報告書
      2017 実施状況報告書
    • 国際学会
  • [学会発表] 映像とセンサを用いたドライブレコーダデータからのヒヤリハット検出手法2017

    • 著者名/発表者名
      山本修平, 遠藤 結城, 戸田 浩之
    • 学会等名
      WebDB Forum 2017
    • 関連する報告書
      2017 実施状況報告書
  • [学会発表] 長期的な状態依存性を考慮した移動軌跡からの目的地予測2017

    • 著者名/発表者名
      遠藤 結城,西田 京介,戸田 浩之,澤田 宏
    • 学会等名
      第84回MBL研究会
    • 関連する報告書
      2017 実施状況報告書
    • 招待講演
  • [学会発表] ポーズ情報の考慮と背景データの拡張によるCNNを用いた人物画像の意味的領域分割2017

    • 著者名/発表者名
      菊池 敬済, 遠藤 結城, 金森 由博, 橋本 泰輔, 三谷 純
    • 学会等名
      Visual Computing/グラフィクスとCAD合同シンポジウム 201
    • 関連する報告書
      2017 実施状況報告書
  • [学会発表] 簡略化モデルによる折紙形状構築手法2017

    • 著者名/発表者名
      田中 慎一, 遠藤 結城, 金森 由博, 三谷 純
    • 学会等名
      Visual Computing/グラフィクスとCAD合同シンポジウム 2017
    • 関連する報告書
      2017 実施状況報告書
  • [学会発表] 3次元形状を折りたたみ可能な立体へ自動変換する手法の提案2017

    • 著者名/発表者名
      宮本 惠未, 遠藤 結城, 金森 由博, 三谷 純
    • 学会等名
      Visual Computing/グラフィクスと CAD 合同シンポジウム 2017
    • 関連する報告書
      2017 実施状況報告書
  • [学会発表] 光源配置の最適化による2変数BRDF測定の改良2017

    • 著者名/発表者名
      橋本 泰輔, 金森 由博, 遠藤 結城, 三谷 純
    • 学会等名
      Visual Computing/グラフィクスと CAD 合同シンポジウム 2017
    • 関連する報告書
      2017 実施状況報告書
  • [備考] SIGGRAPH ASIA 2019 プロジェクトページ

    • URL

      http://www.cgg.cs.tsukuba.ac.jp/~endo/projects/AnimatingLandscape/

    • 関連する報告書
      2019 実績報告書
  • [備考] 研究成果に関するWebページ

    • URL

      http://www.cgg.cs.tsukuba.ac.jp/~endo/

    • 関連する報告書
      2017 実施状況報告書

URL: 

公開日: 2017-04-28   更新日: 2021-02-19  

サービス概要 検索マニュアル よくある質問 お知らせ 利用規程 科研費による研究の帰属

Powered by NII kakenhi