2016 Fiscal Year Annual Research Report
| Project/Area Number |
16H02846
|
|---|
| Research Institution | Nagoya University |
|---|
Principal Investigator |
井手 一郎 名古屋大学, 情報学研究科, 准教授 (10332157)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
川西 康友 名古屋大学, 情報科学研究科, 助教 (50755147)
村瀬 洋 名古屋大学, 情報科学研究科, 教授 (90362293)
道満 恵介 中京大学, 工学部, 講師 (90645748)
|
|---|
| Project Period (FY) |
2016-04-01 – 2020-03-31
|
| Keywords | 映像編集 / 自動編集 / ソーシャルメディア / 画像・映像 / シナリオ |
|---|
| Outline of Annual Research Achievements |
本研究では，ソーシャルメディア上の画像・映像や投稿を用いた解説映像の自動編集に関する方法論を確立することを目的として，以下の課題を設定して取り組んでいる．【課題1】 映像自動編集に関する方法論の確立：（a） 「シナリオ活用型」映像自動編集（b） 「シナリオ生成型」映像自動編集，【課題2】 シナリオの記述と画像内容の整合性を考慮した映像要約手法の確立：具体的には，〔ドメイン1〕時事問題，〔ドメイン2〕料理，〔ドメイン3〕人物，〔ドメイン4〕都市の4 つのドメインに特化して，各対象ドメインにおける応用をふまえた自動編集手法の実装を通じて各課題に取り組み，提案する方法論の有効性を検証する．
平成28年度は，以下の課題に取り組んだ．【課題1a】 「シナリオ活用型」映像自動編集に関する方法論の確立：既に存在するシナリオに基づいて，ソーシャルメディア上の画像・映像を検索することで，素材となる画像・映像を収集するための方法論の確立に取り組んだ．具体的には，本研究に先行して取り組んでいる〔ドメイン2〕で得られた知見に基づいて，〔ドメイン3〕における画像・映像収集を実現した．【課題1b】 「シナリオ生成型」映像自動編集に関する方法論の確立：ソーシャルメディアへの投稿を解析してシナリオを自動生成する方法論の確立に取り組む．具体的には，本研究に先行して取り組んでいる〔ドメイン1〕で得られた知見に基づいて，〔ドメイン4〕におけるシナリオ生成について検討した．【課題2】 シナリオの記述と画像内容の整合性を考慮した映像要約手法の確立：本研究に先行して画像・映像の収集に取り組んでいる〔ドメイン1〕および〔ドメイン2〕において，画像・映像中の視覚的コンセプト検出および動作検出を実現した．
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
【課題1a】 「シナリオ活用型」映像自動編集に関する方法論の確立，【課題1b】 「シナリオ生成型」映像自動編集に関する方法論の確立，【課題2】 シナリオの記述と画像内容の整合性を考慮した映像要約手法の確立の各課題について，全体としておおむね順調に進展している．
ただし，【課題1a】については，当初，映像素材も収集する予定であったが，計算量の点から，画像素材に限定した．ただし，方法論としては，ほぼ同じ枠組みで実現できると考えている．
また，【課題1b】については，当初想定していたシナリオ（類似地域を関連付け）よりも複雑なシナリオ（地域間クラスタリングによる類似地域のラベル付け）を生成することに成功した．
|
| Strategy for Future Research Activity |
平成29年度は，以下の課題に取り組む．
【課題1a】「シナリオ活用型」映像自動編集に関する方法論の確立：平成28年度までに確立した時事問題における方法論に基づいて収集した画像・映像について，シナリオに基づいて必要な画像を選択あるいは映像区間を抽出し，解説映像として編集するための方法論を確立する．
【課題1b】「シナリオ生成型」映像自動編集に関する方法論の確立：平成28年度までに確立した都市における方法論に基づいて生成した空間的シナリオに加えて，時間的シナリオの生成方法を確立する．
【課題2】シナリオの記述と画像内容の整合性を考慮した映像要約手法の確立：【課題1】において選択・抽出された画像・映像区間に対して，画像・映像中の視覚的コンセプトおよび映像中の動作検出を適用し，シナリオの記述と整合するものを抽出することで，解説映像を編集するために必要な映像要約の方法論を確立する．
|
Research Products
(6 results)
