Automatic authoring of an explanatory video using social media

2020 Fiscal Year Final Research Report

• Project/Area Number: 16H02846
• Research Category: Grant-in-Aid for Scientific Research (B)
• Allocation Type: Single-year Grants
• Section: 一般
• Research Field: Perceptual information processing
• Research Institution: Nagoya University
• Principal Investigator: Ide Ichiro 名古屋大学, 数理・データ科学教育研究センター, 教授 (10332157)
• Co-Investigator(Kenkyū-buntansha): 川西 康友 名古屋大学, 情報学研究科, 講師 (50755147) ; 村瀬 洋 名古屋大学, 情報学研究科, 教授 (90362293) ; 道満 恵介 中京大学, 工学部, 准教授 (90645748)
• Project Period (FY): 2016-04-01 – 2020-03-31
• Keywords: 映像編集 / 自動編集 / ソーシャルメディア / 心像性 / 料理 / ニュース / 旅行 / マルチメディア

Outline of Final Research Achievements

In this research, we aimed to automatically edit explanatory videos that summarize various events in a concise manner. Specifically, we focused on five domains: current affairs (news), cuisine (cooking), people (obituaries), cities (travel and tourism), and historical picture scrolls, in order to establish a methodology for automatic editing of explanatory videos using images, videos, and posts on social media. For each domain, we have developed a scenario-based and scenario-generating automatic editing method and the necessary elemental technologies. In each domain, we demonstrated the effectiveness of the proposed methodologies based on the applications unique to each domain.

Free Research Field

マルチメディア情報処理

Academic Significance and Societal Importance of the Research Achievements

ディジタルカメラやスマートフォンをはじめとするカメラ付き携帯情報端末等の普及により，誰でも画像・映像を気軽に撮影できるようになって久しい．また，Web上でこれらを気軽に公開できるようにもなった．しかし，編集作業は煩雑であることから，未編集のものが大半である．「百聞は一見に如かず」と言われるように，ある事象について把握する際に，文字・音声情報よりも画像・映像情報の方が分かりやすいとされる．一方で，見るべき画像・映像が大量にある場合には，編集されて簡潔に要約されていなければ，分かりやすいとは言えないという問題がある．本研究成果を活用することで，画像・映像を気軽に編集できるようになると期待される．