2019 Fiscal Year Annual Research Report
Automatic authoring of an explanatory video using social media
| Project/Area Number |
16H02846
|
|---|
| Research Institution | Nagoya University |
|---|
Principal Investigator |
井手 一郎 名古屋大学, 数理・データ科学教育研究センター, 教授 (10332157)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
川西 康友 名古屋大学, 情報学研究科, 講師 (50755147)
村瀬 洋 名古屋大学, 情報学研究科, 教授 (90362293)
道満 恵介 中京大学, 工学部, 准教授 (90645748)
|
|---|
| Project Period (FY) |
2016-04-01 – 2020-03-31
|
| Keywords | 画像キャプショニング / 心像性 / 画像・映像 / ソーシャルメディア |
|---|
| Outline of Annual Research Achievements |
本研究では，ソーシャルメディア上の画像・映像や投稿を用いた解説映像の自動編集に関する方法論を確立することを目的として，以下の課題を設定して取り組んでいる．
【課題1】映像自動編集に関する方法論の確立：（a） 「シナリオ活用型」映像自動編集 （b） 「シナリオ生成型」映像自動編集【課題2】 シナリオの記述と画像内容の整合性を考慮した映像要約手法の確立：具体的には，時事問題，料理，人物，都市の4つのドメインに特化して，各対象ドメインにおける応用をふまえた自動編集手法の実装を通じて各課題に取り組み，提案する方法論の有効性を検証する．
平成31／令和1～2年度は，以下の課題に重点的に取り組んだ．
【課題1】「シナリオ活用型」映像自動編集の結果を提示するために，シナリオに沿って画像を順に再生し，文字・音声情報とともに提示するインタフェースを構築した．
【課題2】「シナリオ活用型」映像自動編集において選択・抽出された画像・映像区間に対して，画像・映像中に含まれる事象（視覚的コンセプト）を記述する「画像キャプショニング」技術について重点的に取り組んだ．この際に，シナリオの記述との整合性を考慮するために，平成30年度までに検討した視覚的コンセプトの「心像性」という概念に着目し，画像キャプションの心像性を制御する技術を開発した．大規模な評価実験を行った結果，最心のBERTモデルにこの技術を導入したキャプショニング手法の有効性を示した．一方，料理のドメインにおいて，より魅力的な画像・映像を選択するために，同一種別の料理のさまざまな盛り付けについて，その典型度を定量化する技術を開発した．これにより，用途に応じて，多数の候補画像のなかから典型的なものを選んだり，逆に奇異なものを選んだりすることができるようになった．
|
| Research Progress Status |
令和元年度が最終年度であるため、記入しない。
|
| Strategy for Future Research Activity |
令和元年度が最終年度であるため、記入しない。
|
