2017 Fiscal Year Annual Research Report
Automatic authoring of an explanatory video using social media
| Project/Area Number |
16H02846
|
|---|
| Research Institution | Nagoya University |
|---|
Principal Investigator |
井手 一郎 名古屋大学, 情報学研究科, 准教授 (10332157)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
川西 康友 名古屋大学, 情報学研究科, 助教 (50755147)
村瀬 洋 名古屋大学, 情報学研究科, 教授 (90362293)
道満 恵介 中京大学, 工学部, 講師 (90645748)
|
|---|
| Project Period (FY) |
2016-04-01 – 2020-03-31
|
| Keywords | 映像編集 / 自動編集 / ソーシャルメディア / 画像・映像 / シナリオ |
|---|
| Outline of Annual Research Achievements |
我々は，様々な事象について簡潔に要約した解説映像を自動編集することを目指して研究を進めている．その中で本研究は，ソーシャルメディア上の画像・映像や投稿を用いた自動編集の方法論を確立するとともに，対象ドメインを特化して応用をふまえた実装を行うことにより，その有効性を検証することを目的としている．具体的には以下の2つの課題に取り組んでいる．
【課題1】映像自動編集に関する方法論の確立：（a） 「シナリオ活用型」映像自動編集 （b） 「シナリオ生成型」映像自動編集
【課題2】 シナリオの記述と画像内容の整合性を考慮した映像要約手法の確立：具体的には，時事問題，料理，人物，都市の4つのドメインに特化して，各対象ドメインにおける応用をふまえた自動編集手法の実装を通じて各課題に取り組み，提案する方法論の有効性を検証する．
平成29年度は，このうち【課題1】について，過年度までに確立した時事問題における方法論に基づいて収集した画像・映像について，シナリオに基づいて必要な画像を選択あるいは映像区間を抽出し，解説映像として編集するための方法論を確立したうえで，その有効性について評価した．
一方，【課題2】について「旅行」と「料理」のドメインにおけるシナリオ生成型自動編集の基盤技術について研究を進めた．前者については，具体的に，ある地域で撮影された映像中に含まれる事象の類似度に基づく類似地域の抽出方法について研究を進め，その有効性を評価した．一方，後者については，具体的に，要約に用いるためにより魅力的（美味しそう）な料理画像を自動選択する際の特徴選択方法について研究を進めた．さらに，両課題にまたがる基礎的内容として，ある概念をより的確に表現する画像を取捨選択するための基準を定量化するために，視覚的多様性に基づく方法について検討を進めた．
|
| Current Status of Research Progress |
Current Status of Research Progress
1: Research has progressed more than it was originally planned.
Reason
研究を進める過程で，視覚的多様性の定量化という基礎的かつ本質的な課題の解決が重要であることに気づき，当初計画に加えて，さらにこの課題についても検討を進め，一定の知見を得ることができた．
また，従来の研究計画で想定していなかったが，歴史的な絵巻物へシナリオ活用型映像自動編集を適用できる可能性があることが分かり，基礎的検討を始めることができた．
|
| Strategy for Future Research Activity |
従来の研究計画に加えて，本研究を遂行する過程で重要性に気づいた課題である視覚的多様性の定量化についても積極的に取り組んでいき，より基礎的かつ本質的な課題の解決を目指していく．
具体的には，平成30年度は，以下の課題に取り組む．
【課題1b】「シナリオ生成型」映像自動編集に関する方法論の確立：平成29年度までに検討した，都市における時空間シナリオ生成の方法論に基づいて，実際にシナリオを生成し，実証的に評価する．
【課題2】シナリオの記述と画像内容の整合性を考慮した映像要約手法の確立：「シナリオ活用型」映像自動編集において選択・抽出された画像・映像区間に対して，画像・映像中に含まれる事象（視覚的コンセプト）とシナリオの記述との整合性を定量的に評価する方法の確立を目指し，より整合性が高いものを抽出することで，解説映像を編集するために必要な映像要約の方法論を確立する．一方，料理や都市のドメインにおいて，より魅力的な画像・映像を選択するための方法論を確立する．
|
