2021 Fiscal Year Annual Research Report

Building a Video Search Engine based on the Perception of Spatio-temporal Relations

Research Project

Project/Area Number	19K12028
Research Institution	Kindai University
Principal Investigator	白浜公章近畿大学, 理工学部, 准教授 (30467675)
Project Period (FY)	2019-04-01 – 2022-03-31
Keywords	映像検索 / 物体の時空間的関係 / グラフたたみ込み / 記憶伝達 / 強化学習 / TRECVID
Outline of Annual Research Achievements	交付申請書に記載した「1. 物体の時空間的関係を考慮した映像検索手法」，「2. フレーム間の意味的な連続性を考慮しながら，映像をコンパクトなベクトルに圧縮する手法」，「3. 映像に対する人間の記憶伝達メカニズムを模倣するモデルを学習する手法」という3つのテーマに取り組んだ．まず，3.に関して，記憶を有限の外部ストレージ，より具体的には，各フレームの特徴の重みつき和として表現されたベクトルと定義して，映像全体の内容を最も適切に理解するためには，どのくらいの重みで各フレームの特徴を記憶すればいいかを推定する強化学習手法を開発した．評価実験では，ドキュメンタリーや教育番組などに関する合計219本の映像を用いて，開発手法による記憶の更新（各フレームに割り当てた重み）の妥当性、学習データを増やせばより一般性の高い記憶の更新方法を獲得できることなどを示した．加えて，2.に関して開発した長短期記憶（LSTM）に基づく手法と，強化学習手法の性能比較を行い，後者の方が有意に優れていることを確認した．この結果は，映像を始めとする系列データに対する標準的な手法であるLSTMよりも，強化学習手法の方が，より人間の知覚に沿った記憶の更新方法を獲得できていることを示唆している．さらに，強化学習手法を，大量のアイテムが格納されたデータベースから，統計的に特徴的なパターンを抽出するタスクに拡張した．概要として，条件を満たすアイテムの集合を形成するには，現在選択しているアイテムの集合に，どのアイテムを追加すれば，もしくはどのアイテムを削除すべきかを推定する手法を開発し，国際ジャーナルIEEE Accessで成果を報告した．最後に，1.に関しては，提案したグラフたたみ込みネットワークによる手法を開発し，世界的な映像検索コンテストTERCVIDで、他の研究機関で開発された手法との性能比較を行った．
Remarks	IEEE Accessで発表した強化学習手法のソースコード、及び実験で使用したデータのダウンロード方法や使用方法を公開して，第3者が論文の結果を容易に再現できるようにしている．