2016 Fiscal Year Research-status Report
映像認識に有効な多層の識別的構造を持つ新しいモーション特徴の研究
| Project/Area Number |
15K00249
|
|---|
| Research Institution | Waseda University |
|---|
Principal Investigator |
植木 一也 早稲田大学, 理工学術院, 助教 (80580638)
|
|---|
| Project Period (FY) |
2015-04-01 – 2018-03-31
|
| Keywords | 映像検索 / モーション認識 / CNN |
|---|
| Outline of Annual Research Achievements |
当初の計画で，平成２８年度から平成２９年度に実施を予定していた「時間変化を捉える機能を持つ新しいモーション認識用のConvolutional neural network（以下，CNN）の作成」については，平成２７年度の後半から前倒しで研究を遂行することができたため，予定通りの成果を上げることができた．具体的には，モーション特徴として広く用いられているDense trajectoryの考え方をCNNに導入することで，大規模な映像データベースの中から，人物の特定の動作を含んでいる映像を高精度で検索できるようになった．
平成２８年度には，単純な動作の検出に加え，一緒に写り込んでいる物体や，周りのシーンも同時に考慮することで，複数の条件をすべて満たすような複雑な動作を認識するというより難しい課題にも取り組み，実現することに成功した．これにより，対象となる学習データが全く存在しないような，ゼロショットでの環境下であっても，「ダイビング用のウェットスーツを着たダイバーが，水中で泳いでいる」，「群衆が街の大通りで夜間にデモ行進を行なっている」，「男の人が屋外でギターを弾いている」等，複数の条件を指定するようなクエリ文から映像を検索することが可能となった．
本手法の有効性を確認するため，米国国立標準技術研究所（NIST）が主催している国際競争型映像検索・評価ワークショップ（TRECVID）のAd-hoc Video Search（AVS）タスク部門に結果を提出したところ，他の研究グループの結果を大きく超える世界最高の検索精度（平均適合率の平均で17.7%）を達成することができ，本手法の有効性が確認できた．
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
時間変化を捉える機能を持つ新しいモーション認識用CNNを作成するという当初の最大の目標をほぼ達成することができ，さらに複雑な課題である，複数の条件を含んだクエリ文からの映像検索にも取り組むことができている．米国国立標準技術研究所（NIST）が主催している国際競争型映像検索・評価ワークショップ（TRECVID）のAd-hoc Video Searchタスクでの大規模映像を用いた評価においても，世界最高の検索精度を達成することができ，本手法の有効性が確認できている．
しかしながら，複雑な環境下での映像検索は，2位の研究チームを大きく引き離す世界最高の検索精度をもってしても，平均適合率の平均（mean average precision）という指標で17.7%の精度しか達成できていない（参考：2位のチームの検索精度は5.4%）．そのため，今後は認識モデルのパラメータチューニング等の細かい改善ではなく，抜本的な対策を講じる必要がある．
|
| Strategy for Future Research Activity |
平成２９年度も継続してCNNを中心とした特徴抽出方法を検討していく．当初，平成２８年に実施予定であった項目のうち，多くのものを実施することができ，いくつか課題を見つけることができたので，その課題解決に取り組む．
まずは，クエリ文の中に含まれる未知語の対策が必要である．平成２８年度の事前調査により，動作を認識するためには，それに写り込んでいる物体や，周りのシーンを活用することが非常に有効であり，認識できる物体やシーンのカテゴリを増やすことで，動作認識の精度を飛躍的に向上させることが確認できている．しかしながら，現状ではそれでも未知のカテゴリが多数あることから，検索したい映像を正しく検索できないケースがまだまだ多い．そのため，ImageNetやPlacesに代表されるような大規模画像データベースを用い，多くのカテゴリを認識できるモデルを作成し，クエリ文の中に出てくる単語のカバー率を上げる取り組みを行う．
さらに，クエリ文の中にある単語に対応する画像が存在しないケースにも対策が必要である．画像データベースの中には含まれない単語については，言語処理の技術を活用し，補うことを計画している．word2vecのような類似した単語を活用する方法については，有効であることがすでに確認済みのため，さらに単語に付随する属性や単語の定義文なども活用する方法を検討中である．
|
| Causes of Carryover |
平成２８年度は，旅費についてはほぼ予算通りで執行した．当初，予算化していた物品費，学会参加費，論文執筆費用については，この研究に関連する学内の研究費を活用することと，研究室内の機材を活用できたため，使用額が予定を下回った．
|
| Expenditure Plan for Carryover Budget |
成果発表のための旅費や学会参加費は当初の計画通りの予定．
平成２９年度から，研究代表者の所属が早稲田大学から明星大学に移ることから，今まで利用できていた研究室内の機材を使用できなくなる．そのため，平成２８年度から持ち越した額の中から，新たにGPUを搭載した計算機，データ保存のためのストレージ，ネットワーク機器の購入を行う予定である．
|
