Automatic Generation of Event Video Mashup Based on Multi-view Contents on SNS

• Project/Area Number: 19K20289
• Research Category: Grant-in-Aid for Early-Career Scientists
• Allocation Type: Multi-year Fund
• Review Section: Basic Section 61010:Perceptual information processing-related
• Research Institution: The University of Tokyo
• Principal Investigator: 汪 雪テイ 東京大学, 大学院情報理工学系研究科, 特任助教 (10826291)
• Project Period (FY): 2019-04-01 – 2021-03-31
• Project Status: Discontinued (Fiscal Year 2020)
• Budget Amount: ¥4,160,000 (Direct Cost: ¥3,200,000、Indirect Cost: ¥960,000); Fiscal Year 2021: ¥1,430,000 (Direct Cost: ¥1,100,000、Indirect Cost: ¥330,000); Fiscal Year 2020: ¥1,430,000 (Direct Cost: ¥1,100,000、Indirect Cost: ¥330,000); Fiscal Year 2019: ¥1,300,000 (Direct Cost: ¥1,000,000、Indirect Cost: ¥300,000)
• Keywords: マルチメディア / 映像要約 / 映像理解 / 対照学習 / 魅力工学 / ビデオマッシュアップ / SNS / video mashup generation / multi-view contents / ビデオ自動生成

Outline of Research at the Start

本研究では，様々な視点・デバイスで撮影されたSNS上の写真・映像を，イベントを魅力的に表現するようにつなげる，ビデオマッシュアップの自動生成を目的とする．多様的・網羅的に重要な情報を結合し，SNSでの情報拡散力・人気度などの高次要素も持つ，ビデオ編集担当者の時間と労力も削減できるものとする．情報発信・拡散の新たな手段として，デジタルマーケティング・広告宣伝などの産業的な応用の発展にも貢献できる．

Outline of Annual Research Achievements

本研究は，ソーシャルネットワークに共有された膨大かつ重複の多い写真・映像を，効率的かつ魅力的に表現するビデオマッシュアップの自動生成を目的とする．
2020年度：
(1) 画像・ビデオコンテンツの理解と生成のため，特徴表現など基盤技術に関して研究した．具体的には，残差フレームを入力データとして利用して，ビデオからモーション特徴を抽出するための高速で効果的な方法を提案した．また，自己教師あり対照学習に基づき，ビデオクリップの時間的関係を壊すことによって同じアンカービデオから変換されるイントラネガティブサンプルを導入するフレームワークを提案して，よりよいビデオ表現を学習した．そして，入力画像を任意のサイズに調整する画像のリターゲティングタスクにおいて，強化学習エージェントを使用して，複数のリターゲティングオペレーターから各ステップの最適な演算子を予測するリターゲティング方法を提案した．これらの技術は，マッシュアップの各素材の特徴表現と生成における基盤技術として活用できる． (2) 映像要約モデルとマッシュアップ生成モデルの構築に関する研究を行った．前年度に提案した映像要約モデルを参考し、アノテーションの難点とコストを考慮し，上記の自己教師あり対照学習に基づき映像要約モデルを構築した．この要約モデルに基づき，候補マッシュアップ映像の生成と，マッシュアップ生成アルゴリズムまでの拡張を検討した．
2019年度: 「ユーザの感じた主観的な魅力度合い」を客観的に明らかにするため，画像コンテンツの審美度やソーシャルネットワーク上での人気度の予測と向上など、様々な魅力に関する評価基準の定義と魅力度の予測・向上モデルを検討した．
これらの成果は，マルチメディア分野のトップ国際会議ACMMM、受賞論文を含む対外発表を順調に行った他，特許出願や関連テーマにおける国際会議でのチュートリアルも主催した．

Research Products

• [Journal Article] Click-Through Rate Prediction of Online Banners Featuring Multimodal Analysis (2020)
  • Author(s): Bohui Xia，Hiroyuki Seshime，Xueting Wang，Toshihiko Yamasaki
  • Journal Title: International Journal of Semantic Computing Volume: 14(1) Issue: 01 Pages: 71-91
  • DOI: 10.1142/s1793351x20400048
  • Peer Reviewed
• [Presentation] Color-Grayscale-Pair Image Sentiment Dataset and Its Application to Sentiment-Driven Image Color Conversion (2021)
  • Author(s): Atsushi Takada, Xueting Wang, Toshihiko Yamasaki
  • Organizer: International Joint Workshop On Multimedia Artworks Analysis And Attractiveness Computing In Multimedia 2021
  • Int'l Joint Research
• [Presentation] Self-supervised Video Representation Learning Using Inter-intra Contrastive Framework (2020)
  • Author(s): Li Tao, Xueting Wang, Toshihiko Yamasaki
  • Organizer: ACM Multimedia Conference (ACMMM) 2020
  • Int'l Joint Research
• [Presentation] Self-Play Reinforcement Learning for Fast Image Retargeting (2020)
  • Author(s): Nobukatsu Kajiura, Satoshi Kosugi, Xueting Wang, Toshihiko Yamasaki
  • Organizer: ACM Multimedia Conference (ACMMM) 2020
  • Int'l Joint Research
• [Presentation] Motion Representation Using Residual Frames with 3D CNN (2020)
  • Author(s): Li Tao, Xueting Wang, Toshihiko Yamasaki
  • Organizer: IEEE International Conference on Image Processing (ICIP) 2020
  • Int'l Joint Research
• [Presentation] Earn More Social Attention: User Popularity Based Tag Recommendation System (2020)
  • Author(s): Xueting Wang，Yiwei Zhang，Toshihiko Yamasaki
  • Organizer: The Web Conference 2020
  • Int'l Joint Research
• [Presentation] User-Aware Folk Popularity Rank: User-Popularity-Based Tag Recommendation That Can Enhance Social Popularity (2019)
  • Author(s): Xueting Wang，Yiwei Zhang，Toshihiko Yamasaki
  • Organizer: ACM Multimedia Conference 2019
  • Int'l Joint Research
• [Presentation] Weakly Supervised Video Summarization by Hierarchical Reinforcement Learning (2019)
  • Author(s): Yiyan Chen，Li Tao，Xueting Wang， Toshihiko Yamasaki
  • Organizer: ACM International Conference on Multimedia in Asia 2019
  • Int'l Joint Research
• [Presentation] Measuring Similarity between Brands using Social Media Content (2019)
  • Author(s): Yiwei Zhang，Xueting Wang，Toshihiko Yamasaki
  • Organizer: ACM International Conference on Multimedia in Asia 2019
  • Int'l Joint Research
• [Presentation] Impression Prediction of Oral Presentation Using LSTM and Dot-product Attention Mechanism (2019)
  • Author(s): Shengzhou Yi，Xueting Wang，Toshihiko Yamasaki
  • Organizer: IEEE International Conference on Multimedia Big Data 2019
  • Int'l Joint Research
• [Presentation] Deep Neural Network-based Click-through Rate Prediction Using Multimodal Features Of Online Banners (2019)
  • Author(s): Bohui Xia，Xueting Wang，Toshihiko Yamasaki
  • Organizer: IEEE International Conference on Multimedia Big Data 2019
  • Int'l Joint Research
• [Presentation] Predicting the Attractiveness of Real-Estate Images by Pairwise Comparison using Deep Learning (2019)
  • Author(s): Xueting Wang，Yuki Takada，Youiti Kado，Toshihiko Yamasaki
  • Organizer: ICME Workshop on International Joint Workshop on Multimedia Artworks Analysis and Attractiveness Computing in Multimedia 2019
  • Int'l Joint Research
• [Presentation] Aspect-Ratio-Preserving Multi-Patch Image Aesthetics Score Prediction (2019)
  • Author(s): Lijie Wang，Xueting Wang，Toshihiko Yamasaki，Kiyoharu Aizawa
  • Organizer: CVPR workshop on New Trends in Image Restoration and Enhancement 2019
  • Int'l Joint Research
• [Presentation] Attractiveness Prediction and Enhancement on Multimedia Contents (2019)
  • Author(s): Xueting Wang
  • Organizer: ACM International Conference on Multimedia in Asia 2019 Tutorial on Multimedia Attractiveness Computing
  • Int'l Joint Research / Invited
• [Patent(Industrial Property Rights)] 情報処理装置、及びプログラム (2020)
  • Inventor(s): 山崎俊彦, 張軼威, 汪雪テイ,
  • Industrial Property Rights Holder: 山崎俊彦, 張軼威, 汪雪テイ,
  • Industrial Property Rights Type: 特許
  • Industrial Property Number: 2020-031046
  • Filing Date: 2020
• [Patent(Industrial Property Rights)] タグ推薦装置、タグ推薦方法及びタグ推薦プログラム (2019)
  • Inventor(s): 山崎俊彦, 汪雪テイ
  • Industrial Property Rights Holder: 山崎俊彦, 汪雪テイ
  • Industrial Property Rights Type: 特許
  • Industrial Property Number: 2019-046846
  • Filing Date: 2019
• [Patent(Industrial Property Rights)] 動画要約装置、動画要約方法及び動画要約プログラム (2019)
  • Inventor(s): 山崎俊彦, Yiyan Chen, 汪雪テイ
  • Industrial Property Rights Holder: 山崎俊彦, Yiyan Chen, 汪雪テイ
  • Industrial Property Rights Type: 特許
  • Industrial Property Number: 2019-185428
  • Filing Date: 2019