2019 Fiscal Year Annual Research Report
Development of methods for video corpus construction and time series annotation for video scene retrieval
| Project/Area Number |
17K12687
|
|---|
| Research Institution | Kansai University |
|---|
Principal Investigator |
吉田 壮 関西大学, システム理工学部, 助教 (70780584)
|
|---|
| Project Period (FY) |
2017-04-01 – 2020-03-31
|
| Keywords | 映像検索 / 弱教師あり学習 |
|---|
| Outline of Annual Research Achievements |
2019年度は，昨年度実施した映像アノテーションを行う識別モデルの学習にウェブデータを含む学習データセットを利用した場合に関する検証を踏まえて，学習データセットの構築法と識別モデルの学習に関して手法の見直しおよび改善と検証を行った．前年度の検証結果から映像は同じクラスであっても画像および音特徴の多様性が大きいことが分かったので，特徴の多様性を考慮した学習データの検索手法を考案した．また，特徴の多様性を考慮することで学習データのラベルとその内容にずれを生じさせる可能性が高くなることを受けて，学習データに誤りが含む場合における深層学習に基づく識別モデルの学習手法を考案した．結果として，クラスラベルをキーワードとしたときに24.3%の検索精度向上を確認できた．ラベル誤りを含むときの識別率については，ウェブ画像で構成される評価データセットYFCC100Mから選出した20クラス（PASCAL VOC2007で定義）の部分集合で検証した結果，最大3.8%，平均1%の識別精度向上が確認できた．
次に映像シーン検索アルゴリズムの開発では，映像の画像および音特徴を併用してユーザが望むシーンを含む映像を検索する手法を開発した．本手法は，キーワード検索のランキングからユーザが選択した映像から抽出された画像・音特徴の類似度を基にしたフィードバックを利用する．実際に，YouTube映像を用いた検証で，ユーザの興味に沿う映像を上位候補に検索可能であることを確認した．
ユーザインタフェースの開発については，開発した映像検索アルゴリズムを実装したウェブサイトを構築して研究室LANに公開し，問題無くシミュレーションと同じ結果を得られることを確認した．
以上より，本研究で目標としてる映像コーパスの自動構築と映像シーンの検索に関する手法開発は2019年度におおむね完了したと考えている．
|
