• 研究課題をさがす
  • 研究者をさがす
  • KAKENの使い方
  1. 課題ページに戻る

2017 年度 実績報告書

ソーシャルメディアを用いた解説映像の自動編集

研究課題

研究課題/領域番号 16H02846
研究機関名古屋大学

研究代表者

井手 一郎  名古屋大学, 情報学研究科, 准教授 (10332157)

研究分担者 川西 康友  名古屋大学, 情報学研究科, 助教 (50755147)
村瀬 洋  名古屋大学, 情報学研究科, 教授 (90362293)
道満 恵介  中京大学, 工学部, 講師 (90645748)
研究期間 (年度) 2016-04-01 – 2020-03-31
キーワード映像編集 / 自動編集 / ソーシャルメディア / 画像・映像 / シナリオ
研究実績の概要

我々は,様々な事象について簡潔に要約した解説映像を自動編集することを目指して研究を進めている.その中で本研究は,ソーシャルメディア上の画像・映像や投稿を用いた自動編集の方法論を確立するとともに,対象ドメインを特化して応用をふまえた実装を行うことにより,その有効性を検証することを目的としている.具体的には以下の2つの課題に取り組んでいる.
【課題1】映像自動編集に関する方法論の確立:(a) 「シナリオ活用型」映像自動編集 (b) 「シナリオ生成型」映像自動編集
【課題2】 シナリオの記述と画像内容の整合性を考慮した映像要約手法の確立:具体的には,時事問題,料理,人物,都市の4つのドメインに特化して,各対象ドメインにおける応用をふまえた自動編集手法の実装を通じて各課題に取り組み,提案する方法論の有効性を検証する.
平成29年度は,このうち【課題1】について,過年度までに確立した時事問題における方法論に基づいて収集した画像・映像について,シナリオに基づいて必要な画像を選択あるいは映像区間を抽出し,解説映像として編集するための方法論を確立したうえで,その有効性について評価した.
一方,【課題2】について「旅行」と「料理」のドメインにおけるシナリオ生成型自動編集の基盤技術について研究を進めた.前者については,具体的に,ある地域で撮影された映像中に含まれる事象の類似度に基づく類似地域の抽出方法について研究を進め,その有効性を評価した.一方,後者については,具体的に,要約に用いるためにより魅力的(美味しそう)な料理画像を自動選択する際の特徴選択方法について研究を進めた.さらに,両課題にまたがる基礎的内容として,ある概念をより的確に表現する画像を取捨選択するための基準を定量化するために,視覚的多様性に基づく方法について検討を進めた.

現在までの達成度 (区分)
現在までの達成度 (区分)

1: 当初の計画以上に進展している

理由

研究を進める過程で,視覚的多様性の定量化という基礎的かつ本質的な課題の解決が重要であることに気づき,当初計画に加えて,さらにこの課題についても検討を進め,一定の知見を得ることができた.
また,従来の研究計画で想定していなかったが,歴史的な絵巻物へシナリオ活用型映像自動編集を適用できる可能性があることが分かり,基礎的検討を始めることができた.

今後の研究の推進方策

従来の研究計画に加えて,本研究を遂行する過程で重要性に気づいた課題である視覚的多様性の定量化についても積極的に取り組んでいき,より基礎的かつ本質的な課題の解決を目指していく.
具体的には,平成30年度は,以下の課題に取り組む.
【課題1b】「シナリオ生成型」映像自動編集に関する方法論の確立:平成29年度までに検討した,都市における時空間シナリオ生成の方法論に基づいて,実際にシナリオを生成し,実証的に評価する.
【課題2】シナリオの記述と画像内容の整合性を考慮した映像要約手法の確立:「シナリオ活用型」映像自動編集において選択・抽出された画像・映像区間に対して,画像・映像中に含まれる事象(視覚的コンセプト)とシナリオの記述との整合性を定量的に評価する方法の確立を目指し,より整合性が高いものを抽出することで,解説映像を編集するために必要な映像要約の方法論を確立する.一方,料理や都市のドメインにおいて,より魅力的な画像・映像を選択するための方法論を確立する.

  • 研究成果

    (18件)

すべて 2018 2017 その他

すべて 国際共同研究 (2件) 学会発表 (16件) (うち国際学会 3件、 招待講演 2件)

  • [国際共同研究] ENSEEIHT(France)

    • 国名
      フランス
    • 外国機関名
      ENSEEIHT
  • [国際共同研究] University of Amsterdam(オランダ)

    • 国名
      オランダ
    • 外国機関名
      University of Amsterdam
  • [学会発表] Web画像の分布に基づく単語概念の視覚的な多様性の推定2018

    • 著者名/発表者名
      カストナーマークアウレル,井手一郎,川西康友,平山高嗣,出口大輔,村瀬 洋
    • 学会等名
      情報処理学会コンピュータビジョンとイメージメディア研究会
  • [学会発表] 画像付き料理レシピからの味推定の改良―調理手順の利用に関する検討―2018

    • 著者名/発表者名
      伊藤耀一朗,道満恵介,川西康友,平山高嗣,井手一郎,出口大輔,村瀬 洋
    • 学会等名
      電子情報通信学会メディアエクスペリエンス・バーチャル環境基礎研究会
  • [学会発表] SNS投稿写真の視覚的内容に基づく類似地域マイニング2018

    • 著者名/発表者名
      滝本広樹,川西康友,井手一郎,平山高嗣,道満恵介,出口大輔,村瀬 洋
    • 学会等名
      電子情報通信学会メディアエクスペリエンス・バーチャル環境基礎研究会
  • [学会発表] 料理写真の魅力度推定手法の改良―選好実験時の注視領域を反映した特徴抽出―2017

    • 著者名/発表者名
      佐藤陽昇,平山高嗣,高橋和馬,道満恵介,川西康友,井手一郎,出口大輔,村瀬 洋
    • 学会等名
      情報処理学会コンピュータビジョンとイメージメディア研究会
  • [学会発表] 複数の撮影パラメータを考慮した料理写真の魅力度推定に向けた検討2017

    • 著者名/発表者名
      道満恵介,服部竜実,井手一郎,目加田慶人
    • 学会等名
      画像の認識・理解シンポジウム(MIRU)2017
  • [学会発表] Estimation of the attractiveness of food photography focusing on main ingredients2017

    • 著者名/発表者名
      Kazuma Takahashi, Keisuke Doman, Yasutomo Kawanishi, Takatsugu Hirayama, Ichiro Ide, Daisuke Deguchi, Hiroshi Murase
    • 学会等名
      9th Workshop on Cooking and Eating Activities (CEA2017) in conjunction with IJCAI2017
    • 国際学会
  • [学会発表] 視点に応じた魅力度が付与された料理画像データセット2017

    • 著者名/発表者名
      井手一郎,高橋和馬,道満恵介,川西康友,平山高嗣,出口大輔,村瀬 洋
    • 学会等名
      平成29年度電気・電子・情報関係学会東海支部連合大会
  • [学会発表] 選好実験時の視線情報に基づく料理写真の魅力度推定手法の改良2017

    • 著者名/発表者名
      佐藤陽昇,平山高嗣,道満恵介,川西康友,井手一郎,出口大輔,村瀬 洋
    • 学会等名
      平成29年度電気・電子・情報関係学会東海支部連合大会
  • [学会発表] 料理画像の魅力度の定量化と推定2017

    • 著者名/発表者名
      井手一郎,道満恵介
    • 学会等名
      電子情報通信学会魅力工学研究会発足記念シンポジウム
    • 招待講演
  • [学会発表] 視点に応じた魅力度が付与された料理画像データセット2017

    • 著者名/発表者名
      井手一郎,高橋和馬,道満恵介,川西康友,平山高嗣,出口大輔,村瀬 洋
    • 学会等名
      電子情報通信学会魅力工学研究会発足記念シンポジウム
  • [学会発表] 複数の撮影パラメータを考慮した料理写真の魅力度推定に向けた検討2017

    • 著者名/発表者名
      道満恵介,服部竜実,井手一郎,目加田慶人
    • 学会等名
      電子情報通信学会魅力工学研究会発足記念シンポジウム
  • [学会発表] 料理写真の魅力度を推定する際の画像特徴に関する定量分析―食材構成の理解が魅力度に及ぼす影響―2017

    • 著者名/発表者名
      服部竜実,道満恵介,井手一郎,目加田慶人
    • 学会等名
      電子情報通信学会メディアエクスペリエンス・バーチャル環境基礎研究会
  • [学会発表] 畳み込みニューラルネットワークを用いた料理写真の魅力度推定2017

    • 著者名/発表者名
      佐藤陽昇,道満恵介,平山高嗣,井手一郎,川西康友,出口大輔,村瀬 洋
    • 学会等名
      電子情報通信学会メディアエクスペリエンス・バーチャル環境基礎研究会
  • [学会発表] Summarization of news videos considering the consistency of auditory and visual contents2017

    • 著者名/発表者名
      Ichiro Ide, Ye Zhang, Ryunosuke Tanishige, Keisuke Doman, Yasutomo Kawanishi, Daisuke Deguchi, Hiroshi Murase
    • 学会等名
      19th IEEE Int. Symposium on Multimedia (ISM2017)
    • 国際学会
  • [学会発表] Automatic selection of Web contents towards automatic authoring of a video biography2017

    • 著者名/発表者名
      Ichiro Ide, Yasutomo Kawanishi, Kyoka Kunishiro, Frank Nack, Daisuke Deguchi, Hiroshi Murase
    • 学会等名
      19th IEEE Int. Symposium on Multimedia (ISM2017)
    • 国際学会
  • [学会発表] 料理画像の魅力度の定量化と推定2017

    • 著者名/発表者名
      井手一郎
    • 学会等名
      電子情報通信学会食メディア研究会
    • 招待講演

URL: 

公開日: 2018-12-17   更新日: 2022-09-27  

サービス概要 検索マニュアル よくある質問 お知らせ 利用規程 科研費による研究の帰属

Powered by NII kakenhi