2017 Fiscal Year Research-status Report
映像シーン検索を目的としたコーパスの自動構築と時系列アノテーション法の開発
| Project/Area Number |
17K12687
|
|---|
| Research Institution | Kansai University |
|---|
Principal Investigator |
吉田 壮 関西大学, システム理工学部, 助教 (70780584)
|
|---|
| Project Period (FY) |
2017-04-01 – 2020-03-31
|
| Keywords | 映像検索 |
|---|
| Outline of Annual Research Achievements |
本研究では，平成29年度に，SNSを情報源として得られるマルチメディアデータを活用した映像コーパスの自動構築法を検討する．このテーマは， 1）マルチメディアデータを活用した関連ラベルの抽出手法の開発，2）SNSから収集したデータの精錬と映像コーパスの自動構築法の検討を順に進める．
本年度に得られた研究の成果は，以下の通りである．まずマルチメディアデータを活用した関連ラベルの抽出手法の開発では，代表的な動画ホスティングサービスであるYouTubeをデータソースとして映像に付随するタグを補完，その適合性を自動推定する手法について検討した．タグが映像内容を正しく表すか否かの判断のため，類似映像からなる近傍集合において，共通するタグが付与されているかを投票するアルゴリズムを開発した．この結果を用いてタグが映像内容を表す度合いを定量化することで，ある映像集合を代表するタグとそれと関連するタグを抽出した．手法の有効性は，タグベース映像検索の精度で確認し，適合性の評価を用いない手法と比較して約37％の精度向上を図った．
次に，SNSから収集したデータの精錬と映像コーパスの自動構築法の提案では，テキスト映像検索の高精度化を目的とした映像のリランキング手法について検討した．この手法ではまずテキストキーワードをクエリとする検索により大まかに関連する映像をランキング形式で取得，その結果を映像特徴の類似性に基づいてランキングを並べ替えることでランキングの精錬を可能とする．このとき事前にランキング内の映像内容をクラスタリングすることで，最新の従来手法と比較して約2％の精度向上を可能とした．また，この研究成果は，学会および査読付き雑誌論文で発表した．
以上より，本研究で目標としてる映像コーパスを自動構築における映像データの自動収集部についてのアルゴリズム開発を平成29年度におおむね完了したと考えている．
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
本年度は，研究実績の概要で述べた1）マルチメディアデータを活用した関連ラベルの抽出手法の開発，2）SNSから収集したデータの精錬と映像コーパスの自動構築法の提案に関しておおむねアルゴリズムの開発・実装と評価をすることができた．1）では，投票アルゴリズムを用いたタグの適合性の定量化と関連ラベルの抽出手法，2）では，映像の事前クラスタリングを導入した映像リランキング手法をそれぞれ提案した．この2）のテーマについては，映像コーパス構築において最終段階である，1）で抽出した関連ラベルと2）で精錬したデータを対応付ける部分など，未検討の部分があるものの，これらのテーマについての研究は順当に進んでいると考えている．また，得られた成果の一部は，学会と査読付き雑誌論文で発表した．
2）について未完成な部分が生じた理由として，膨大なデータを保存し効率的に管理するデータベースの仕様決定と構築が遅れたためである．しかし，データベース仕様を定め，平成29年度に計上した高速演算用のワークステーションを予定通り購入したため，研究期間内にこのテーマを進めることが出来ると考えている．
以上の点から，本年度の研究はおおむね順調に進展していると考えている．
|
| Strategy for Future Research Activity |
基本的には，研究は順調に推移しているので，当初の計画通り研究を進めることを考えている．すなわち，今年度得られた結果を踏まえて，平成30年度以降に取り組む課題として以下の課題について検討する．1）YouTubeをデータソースとする映像集合からその集合の内容を表す代表的なタグを抽出し，同一タグの内容を含む映像をクラスタリングすることで新たな学習データセット（映像コーパス）を構築する手法ついて着手し，アノテーションモデルのアルゴリズムの開発に目処を立てる．2）映像をシーンに事前分割し，構築した映像コーパスをトレニーングデータとして利用した識別モデルを構築，識別モデルの出力値を観測することで時系列アノテーションを行い，シーンにラベル付けを施す手法を検討する．3）望む映像を素早く探し出すことを可能とする提示法を開発する．4）これらのアルゴリズムを実装した検索ユーザインタフェースを設計する．
|
| Causes of Carryover |
備品などについては計画通り執行したが，旅費について執行が十分にできていない．研究代表者の国際会議参加について，当初予定していた会議のレベルに至らず発表できない状況となり，執行を取りやめた．この分で旅費として15万程度の執行が出来なかった．また，雑誌掲載料として10万円の執行が翌年度となった．以上から，あわせて25万円程度の執行を出来ず，これが使用額に差異が生じた原因である．
翌年度は，執行できなかった25万円については，雑誌掲載料として15万円，今年購入したワークステーションの保守に必要な備品などの消耗品購入に10万円を割り当てる．残りは，国内・国際会議に成果を積極的に発表することで研究代表者の旅費として60万円程度の支出を行う．その他の経費としては20万円程度を支出することを考えている．これにより，次年度使用額と配分額を加えた105万4264円を執行する予定である．
|
Research Products
(5 results)
