Automatic Generation of Event Video Mashup Based on Multi-view Contents on SNS
Project/Area Number |
19K20289
|
Research Category |
Grant-in-Aid for Early-Career Scientists
|
Allocation Type | Multi-year Fund |
Review Section |
Basic Section 61010:Perceptual information processing-related
|
Research Institution | The University of Tokyo |
Principal Investigator |
汪 雪テイ 東京大学, 大学院情報理工学系研究科, 特任助教 (10826291)
|
Project Period (FY) |
2019-04-01 – 2021-03-31
|
Project Status |
Discontinued (Fiscal Year 2020)
|
Budget Amount *help |
¥4,160,000 (Direct Cost: ¥3,200,000、Indirect Cost: ¥960,000)
Fiscal Year 2021: ¥1,430,000 (Direct Cost: ¥1,100,000、Indirect Cost: ¥330,000)
Fiscal Year 2020: ¥1,430,000 (Direct Cost: ¥1,100,000、Indirect Cost: ¥330,000)
Fiscal Year 2019: ¥1,300,000 (Direct Cost: ¥1,000,000、Indirect Cost: ¥300,000)
|
Keywords | マルチメディア / 映像要約 / 映像理解 / 対照学習 / 魅力工学 / ビデオマッシュアップ / SNS / video mashup generation / multi-view contents / ビデオ自動生成 |
Outline of Research at the Start |
本研究では,様々な視点・デバイスで撮影されたSNS上の写真・映像を,イベントを魅力的に表現するようにつなげる,ビデオマッシュアップの自動生成を目的とする.多様的・網羅的に重要な情報を結合し,SNSでの情報拡散力・人気度などの高次要素も持つ,ビデオ編集担当者の時間と労力も削減できるものとする.情報発信・拡散の新たな手段として,デジタルマーケティング・広告宣伝などの産業的な応用の発展にも貢献できる.
|
Outline of Annual Research Achievements |
本研究は,ソーシャルネットワークに共有された膨大かつ重複の多い写真・映像を,効率的かつ魅力的に表現するビデオマッシュアップの自動生成を目的とする. 2020年度: (1) 画像・ビデオコンテンツの理解と生成のため,特徴表現など基盤技術に関して研究した.具体的には,残差フレームを入力データとして利用して,ビデオからモーション特徴を抽出するための高速で効果的な方法を提案した.また,自己教師あり対照学習に基づき,ビデオクリップの時間的関係を壊すことによって同じアンカービデオから変換されるイントラネガティブサンプルを導入するフレームワークを提案して,よりよいビデオ表現を学習した.そして,入力画像を任意のサイズに調整する画像のリターゲティングタスクにおいて,強化学習エージェントを使用して,複数のリターゲティングオペレーターから各ステップの最適な演算子を予測するリターゲティング方法を提案した.これらの技術は,マッシュアップの各素材の特徴表現と生成における基盤技術として活用できる. (2) 映像要約モデルとマッシュアップ生成モデルの構築に関する研究を行った.前年度に提案した映像要約モデルを参考し、アノテーションの難点とコストを考慮し,上記の自己教師あり対照学習に基づき映像要約モデルを構築した.この要約モデルに基づき,候補マッシュアップ映像の生成と,マッシュアップ生成アルゴリズムまでの拡張を検討した. 2019年度: 「ユーザの感じた主観的な魅力度合い」を客観的に明らかにするため,画像コンテンツの審美度やソーシャルネットワーク上での人気度の予測と向上など、様々な魅力に関する評価基準の定義と魅力度の予測・向上モデルを検討した. これらの成果は,マルチメディア分野のトップ国際会議ACMMM、受賞論文を含む対外発表を順調に行った他,特許出願や関連テーマにおける国際会議でのチュートリアルも主催した.
|
Report
(2 results)
Research Products
(17 results)