研究課題/領域番号 |
19K20289
|
研究機関 | 東京大学 |
研究代表者 |
汪 雪テイ 東京大学, 大学院情報理工学系研究科, 特任研究員 (10826291)
|
研究期間 (年度) |
2019-04-01 – 2022-03-31
|
キーワード | マルチメディア / 映像要約 / ビデオマッシュアップ / SNS / 魅力工学 |
研究実績の概要 |
本研究では,ソーシャルネットワークに共有された膨大かつ重複の多い写真・映像を,効率的かつ魅力的に表現するビデオマッシュアップの自動生成を目的とする.2019年度は以下の研究を行った. (1) 「ユーザの感じた主観的な魅力度合い」を客観的に明らかにするため,様々な魅力に関する評価基準の定義と魅力度の予測・向上モデルを検討した.具体的には,画像や映像コンテンツの情報拡散力を反映するソーシャルネットワーク上での人気度(観覧数・いいね数など)の予測と,人気度の向上アルゴリズムを実現した.また,画像コンテンツの審美度や,広告用の静止画・動画に対するクリック率,記憶度,好感度などを高精度に推定・予測する手法を確立した.加えて,プレゼン動画に対する,魅力,説得力などを含めた印象度合の予測を実現した.単一コンテンツに対する評価・予測方法だけでなくコンテンツ間の関連についても調査し,ソーシャルネットワークにおける投稿コンテンツ間および投稿アカウント間の類似度の推定モデルを構築した.これらの成果に基づき,各評価基準の予測方法の確立と,既存データセットの共通点・不足点の発見によるマッシュアップための大規模主観評価データの蓄積,およびマッシュアップの各素材と生成ビデオの評価が可能となる. (2)マッシュアップ生成技術のベースとなる映像要約モデルを構築した.特に,計画書で予定していた主観評価データセットの増築と同時に,主観評価データの収集困難性及びデータ量不足という問題点に注目し,アノテーションコストを軽減する半教師あり映像要約モデルを構築した.この要約モデルに基づき,評価データセット構築用の候補マッシュアップ映像の生成と,マッシュアップ生成アルゴリズムまでの拡張が可能になる. 以上の研究は,対外発表を順調に行った他,特許出願や関連テーマにおける国際会議でのチュートリアルの主催も行っている.
|
現在までの達成度 (区分) |
現在までの達成度 (区分)
1: 当初の計画以上に進展している
理由
本研究の項目について複数の成果が出ており,前述の通り多くの対外発表があったため,いくつか列挙する. 画像や映像のSNS上での人気度(観覧数・いいね数など)は,コンテンツの情報拡散力を反映するためマッシュアップ作成には重要と判断している.その人気度の予測だけでなく,これまで考慮されていないユーザの人気度とタグの使用傾向を考慮してコンテンツの人気度を高めるタグを推薦できるUFP-Rankアルゴリズムを実現し,SNS上での実証実験で有効性を確認した.この成果はマルチメディア分野のトップ国際会議ACM Multimedia 2019で発表した. 膨大かつ長時間のビデオ記録が存在する現在において必要な映像要約技術を開発した.従来の強化学習ベースの手法は,長時間に渡ったスパースな報酬しかないという問題と,フレームごとの主観評価ラベルが必要であり大規模データセットの構築が困難という問題があった.これらに注目し,階層的な強化学習フレームワークによって,アノテーションコストを軽減する半教師あり映像要約モデルを構築した.この成果は,ACM Multimedia Asia 2019で発表し,Best Paper Award Finalistに選ばれた.
|
今後の研究の推進方策 |
これまで主に評価基準の確立と単一コンテンツの評価技術の開発,そしてベースとする映像要約モデルの生成について検討してきた.今後は確立・開発した評価基準と要約モデルにより,マルチコンテンツのマッシュアップを含めた評価データセットの増築と,マッシュアップ生成モデルの拡張に関する研究に注力していきたい.主観的な評価データの希少性と収集困難性を考慮し,これまでと同じ方針でラベルデータの増築と教師あり学習を行うと同時に,ラベルデータが少ない・全くないなどの状況に応じて,半教師あり,あるいは教師なし学習方法も試みる予定である.また,各要素の組み合せ,モデルの解釈性についても検討していく.
|