2018 Fiscal Year Annual Research Report
Automatic authoring of an explanatory video using social media
| Project/Area Number |
16H02846
|
|---|
| Research Institution | Nagoya University |
|---|
Principal Investigator |
井手 一郎 名古屋大学, 情報学研究科, 准教授 (10332157)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
川西 康友 名古屋大学, 情報学研究科, 助教 (50755147)
村瀬 洋 名古屋大学, 情報学研究科, 教授 (90362293)
道満 恵介 中京大学, 工学部, 講師 (90645748)
|
|---|
| Project Period (FY) |
2016-04-01 – 2020-03-31
|
| Keywords | 映像編集 / 自動編集 / ソーシャルメディア / 画像・映像 / シナリオ |
|---|
| Outline of Annual Research Achievements |
本研究では，ソーシャルメディア上の画像・映像や投稿を用いた解説映像の自動編集に関する方法論を確立することを目的として，以下の課題を設定して取り組んでいる．
【課題1】映像自動編集に関する方法論の確立：（a） 「シナリオ活用型」映像自動編集 （b） 「シナリオ生成型」映像自動編集
【課題2】 シナリオの記述と画像内容の整合性を考慮した映像要約手法の確立：具体的には，時事問題，料理，人物，都市の4つのドメインに特化して，各対象ドメインにおける応用をふまえた自動編集手法の実装を通じて各課題に取り組み，提案する方法論の有効性を検証する．
平成30年度は，以下の課題に取り組んだ．
【課題1b】「シナリオ生成型」映像自動編集に関する方法論の確立：平成29年度までに検討した，都市における時空間シナリオ生成の方法論に基づいて，地域間で大勢の人が注目する対象の視覚的共通性に基づく類似地域ネットワークを構築し，それに基づく類似地域検索・閲覧インタフェースを通じて，その妥当性を実証的に評価し，その有効性と問題点を明らかにした．
【課題2】シナリオの記述と画像内容の整合性を考慮した映像要約手法の確立：「シナリオ活用型」映像自動編集において選択・抽出された画像・映像区間に対して，画像・映像中に含まれる事象（視覚的コンセプト）とシナリオの記述との整合性を定量的に評価する方法の確立を目指し，より整合性が高いものを抽出することで，解説映像を編集するために必要な映像要約の方法論の確立を目指して研究を進めた．特に視覚的コンセプトの「心像性」という概念に着目し，大量のウェブ画像から自動的に定量化する手法を確立した．一方，料理や都市のドメインにおいて，より魅力的な画像・映像を選択するための方法論を確立するために，人の視線分析に基づいて料理画像の魅力度を定量化する手法を検討したところ，食材領域毎の影響がある可能性が示された．
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
【課題1】及び【課題2】ともに，おおむね順調に進展している．ただし，平成30年度まで研究を進める過程で，視覚的コンセプトの「心像性」という概念に注目し，それを画像・映像の選択に活用することの有効性に気づいたため，現在は大量のウェブ画像に基づく視覚的コンセプトの心像性推定に重点的に取り組んでいる．
本研究で取り組んでいる映像の自動編集において，これを用いた画像・映像選択機構を導入したいと考えるようになったため，最終的な出力となる映像の自動編集結果の評価については，やや遅れている状況である．
|
| Strategy for Future Research Activity |
平成31年度は，主として以下の課題に取り組むとともに，本研究の最終年度としてこれまでの各課題の成果をとりまとめて公表する．
【課題2】シナリオの記述と画像内容の整合性を考慮した映像要約手法の確立：平成30年度までに「シナリオ活用型」映像自動編集において選択・抽出された画像・映像区間に対して，画像・映像中に含まれる事象（視覚的コンセプト）とシナリオの記述との整合性を定量的に評価する方法論を確立した．これを主に時事問題を対象として，より一般的な事象に対象を拡げて適用することで，その実用性を評価する．一方，平成30年度までに料理のドメインにおいて，主に撮影角度に注目して，より魅力的な画像・映像を選択するための方法論を確立した．これをより多様な撮影条件に拡張し，その実用性を評価する．
|
Research Products
(16 results)
