• 研究課題をさがす
  • 研究者をさがす
  • KAKENの使い方
  1. 前のページに戻る

大量の映像群からテキストの内容に沿った映像を生成する映像要約手法の開発

研究課題

研究課題/領域番号 16K16086
研究種目

若手研究(B)

配分区分基金
研究分野 知覚情報処理
研究機関大阪大学

研究代表者

中島 悠太  大阪大学, データビリティフロンティア機構, 准教授 (70633551)

研究期間 (年度) 2016-04-01 – 2019-03-31
研究課題ステータス 完了 (2018年度)
配分額 *注記
3,900千円 (直接経費: 3,000千円、間接経費: 900千円)
2018年度: 1,170千円 (直接経費: 900千円、間接経費: 270千円)
2017年度: 1,430千円 (直接経費: 1,100千円、間接経費: 330千円)
2016年度: 1,300千円 (直接経費: 1,000千円、間接経費: 300千円)
キーワード映像要約 / 深層学習 / 畳み込みニューラルネットワーク / 重要領域推定 / 要約映像の評価 / 部分映像検索 / 自然言語処理 / ディープニューラルネットワーク
研究成果の概要

映像編集の自動化を目的として、映像からその要約映像生成する技術を構築することを目標とする。映像には様々なシーンにおける様々な粒度のイベントが含まれており、どのイベントを要約映像に含めるかは、映像要約の応用先によって異なる。本研究では、ユーザからの入力などによって映像に含まれるフレームの重要度を決定するものと、意味内容をなるべくカバーしつつ冗長性を低減させるものの二つのアプローチを考え、それぞれの手法を提案し、その有用性について実験的に示した。また、映像要約の評価手法についても検討を進め、新たな評価手法を提案した。

研究成果の学術的意義や社会的意義

近年、スマートフォンやデジタルカメラなどで日々大量の映像が撮影されている。本研究は、このような映像に対して短時間でその内容を閲覧可能な映像要約手法を提案しており、映像閲覧時のユーザの負荷の軽減や送受信される映像サイズの削減などの点で高い有用性を持つと考える。加えて、特に映像要約の評価手法については、広く用いられるデータセットで利用される評価手法の問題点を明確にしているという点において、今後の映像要約の研究に大きな影響を与えるものであり、学術的意義も大きいと考える。

報告書

(3件)
  • 2018 研究成果報告書 ( PDF )
  • 2017 実績報告書
  • 2016 実施状況報告書
  • 研究成果

    (13件)

すべて 2018 2017 2016 その他

すべて 国際共同研究 (3件) 雑誌論文 (3件) (うち国際共著 3件、 査読あり 3件、 謝辞記載あり 2件) 学会発表 (7件) (うち国際学会 5件)

  • [国際共同研究] オウル大学/タンペレ工科大学(フィンランド)

    • 関連する報告書
      2017 実績報告書
  • [国際共同研究] University of Oulu(フィンランド)

    • 関連する報告書
      2016 実施状況報告書
  • [国際共同研究] University of Valladolid(スペイン)

    • 関連する報告書
      2016 実施状況報告書
  • [雑誌論文] Summarization of User-Generated Sports Video by Using Deep Action Recognition Features2018

    • 著者名/発表者名
      Tejero-de-Pablos Antonio、Nakashima Yuta、Sato Tomokazu、Yokoya Naokazu、Linna Marko、Rahtu Esa
    • 雑誌名

      IEEE Transactions on Multimedia

      巻: 印刷中 号: 8 ページ: 2000-2011

    • DOI

      10.1109/tmm.2018.2794265

    • 関連する報告書
      2017 実績報告書
    • 査読あり / 国際共著
  • [雑誌論文] Video summarization using textual descriptions for authoring video blogs2016

    • 著者名/発表者名
      Mayu Otani, Yuta Nakashima, Tomokazu Sato, and Naokazu Yokoya
    • 雑誌名

      Multimedia Tools and Applications

      巻: - 号: 9 ページ: 12097-12115

    • DOI

      10.1007/s11042-016-4061-3

    • NAID

      120006457764

    • 関連する報告書
      2017 実績報告書 2016 実施状況報告書
    • 査読あり / 国際共著 / 謝辞記載あり
  • [雑誌論文] Flexible human action recognition in depth video sequences using masked joint trajectories2016

    • 著者名/発表者名
      Antonio Tejero-de-Pablos, Yuta Nakashima, Naokazu Yokoya, Francisco-Javier Diaz-Pernas, and Mario Martinez-Zarzuela
    • 雑誌名

      EURASIP Journal on Image and Video Processing

      巻: 2016 号: 1

    • DOI

      10.1186/s13640-016-0120-y

    • 関連する報告書
      2016 実施状況報告書
    • 査読あり / 国際共著 / 謝辞記載あり
  • [学会発表] Finding Video Parts with Natural Language2018

    • 著者名/発表者名
      Mayu Otani、Yuta Nakashima、Esa Rahtu、Janne Heikkila
    • 学会等名
      情報処理学会研究報告コンピュータビジョンとイメージメディア(CVIM)
    • 関連する報告書
      2017 実績報告書
  • [学会発表] Fine-grained video retrieval for multi-clip video2017

    • 著者名/発表者名
      Mayu Otani、Yuta Nakashima、Esa Rahtu、Janne Heikkila
    • 学会等名
      Closing the Loop Between Vision and Language (CLVL) at ICCV
    • 関連する報告書
      2017 実績報告書
    • 国際学会
  • [学会発表] Video Question Answering to Find a Desired Video Segment2017

    • 著者名/発表者名
      Mayu Otani、Yuta Nakashima、Esa Rahtu、Janne Heikkila
    • 学会等名
      Open Knowledge Base and Question Answering Workshop (OKBQA) at SIGIR
    • 関連する報告書
      2017 実績報告書
    • 国際学会
  • [学会発表] Unsupervised Video Summarization using Deep Video Features2017

    • 著者名/発表者名
      Mayu Otani、Yuta Nakashima、Esa Rahtu、Janne Heikkila、Naokazu Yokoya
    • 学会等名
      画像の認識・理解シンポジウム(MIRU)
    • 関連する報告書
      2017 実績報告書
  • [学会発表] Video summarization using deep semantic features2016

    • 著者名/発表者名
      Mayu Otani, Yuta Nakashima, Esa Rahtu, Janne Heikkila, and Naokazu Yokoya
    • 学会等名
      13th Asian Conference on Computer Vision
    • 発表場所
      Taipei
    • 年月日
      2016-11-20
    • 関連する報告書
      2016 実施状況報告書
    • 国際学会
  • [学会発表] Human action recognition-based video summarization for RGB-D personal sports video2016

    • 著者名/発表者名
      Antonio Tejero-de-Pablos, Yuta Nakashima, Tomokazu Sato, and Naokazu Yokoya
    • 学会等名
      2016 IEEE International Conference on Multimedia and Expo
    • 発表場所
      Seattle
    • 年月日
      2016-07-11
    • 関連する報告書
      2016 実施状況報告書
    • 国際学会
  • [学会発表] Learning joint representations of videos and sentences with web image search2016

    • 著者名/発表者名
      Mayu Otani, Yuta Nakashima, Esa Rahtu, Janne Heikkila, and Naokazu Yokoya
    • 学会等名
      4th Workshop on Web-scale Vision and Social Media (VSM) in conjunction with ECCV 2016
    • 発表場所
      Amsterdam
    • 関連する報告書
      2016 実施状況報告書
    • 国際学会

URL: 

公開日: 2016-04-21   更新日: 2020-03-30  

サービス概要 検索マニュアル よくある質問 お知らせ 利用規程 科研費による研究の帰属

Powered by NII kakenhi