2019 Fiscal Year Annual Research Report
Deep semantic annotation of video contents
| Project/Area Number |
17H01831
|
|---|
| Research Institution | Waseda University |
|---|
Principal Investigator |
林 良彦 早稲田大学, 理工学術院, 教授(任期付) (80379156)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
加藤 恒昭 東京大学, 大学院総合文化研究科, 教授 (60334299)
小川 哲司 早稲田大学, 理工学術院, 教授 (70386598)
植木 一也 明星大学, 情報学部, 准教授 (80580638)
|
|---|
| Project Period (FY) |
2017-04-01 – 2021-03-31
|
| Keywords | 情報資源の構築・管理 / 動画 / 意味的注釈 / シーングラフ生成 / キャプション生成 / 動詞意味論 / 語彙意味関係 / オントロジー |
|---|
| Outline of Annual Research Achievements |
本研究課題の目的は，動画中の主体者の動作内容を表す意味注釈を付与する方式を実現することにある．3年目にあたる2019年度は，以下の項目について研究を実施したが，進捗状況は予定よりやや遅れている．(国際会議発表:5件，国内会議発表:11件)
(1) シーングラフの効率的な生成: 動画のフレーム画像に描写されている物体 (主体者含む)，および，それらの間の関係をグラフ構造として抽出し，キーフレーム画像群に対する系列として整形・整列させることにより意味注釈を得ることを計画している．一般にフレーム画像には多くの物体が描写されるため，シーングラフ生成においては，効率的な計算方法の確立が不可欠である．本年度は，従来より検討しているCRFを用いた大局的な最適化に加え，物体間の階層関係を利用する局所関係解析の効率化の検討を開始したが，明確に有効性の確立には至らなかった．
(2) 動画に対する動作記述生成: 動画から言語表現による動作記述を生成し，これをもとに意味注釈を抽出するアプローチの研究を推進している．特に，既存手法により生成する一般的なキャプションをコンパクトな動作記述へと書き換える手法の高度化を進めていたが，言語記述の内的評価の既存指標では本研究の目的には不十分であることが判明したため，評価基準の設定・評価を行い，動作記述に基づく動画検索システムにおける基本的な有効性を確認できた．
(3) 動画アドホック検索への適用の試行: TRECVID AVSタスクを対象にクエリに基づく動画検索方式の研究を継続したが，上記の意味記述の適用は未実施である．
(4) 言語の意味表現に関する基礎研究の推進: 語彙意味関係の認識の高度化を推進した．特に，辞書言語資源から得られる単語の意味定義に注目し，非明示的な単語間の語彙関係を識別する方式の有用性を確認できた．
以上総じて，進捗状況はやや遅れている．
|
| Current Status of Research Progress |
Current Status of Research Progress
3: Progress in research has been slightly delayed.
Reason
シーングラフの効率的な生成において，物体間の階層関係を利用する局所関係解析の効率化の検討を開始したが，明確に有効性の確立には至らなかった．
動画に対する動作記述生成においては，本タスクに特化した言語記述の内的評価の設定・評価を行い，動作記述に基づく動画検索システムにおける基本的な有効性を確認できた．
動画アドホック検索への適用に関しては，TRECVID AVSタスクを対象にクエリに基づく動画検索方式の研究を継続したが，上記の意味記述の適用は未実施である．
また，語彙意味関係の認識の高度化を推進し，非明示的な単語間の語彙関係を識別する方式の有用性を確認できた．
|
| Strategy for Future Research Activity |
(1) シーングラフの効率的かつ高精度な生成: 引き続き，シーングラフ生成の高度化をすすめる．特に，精度と効率的な計算を両立するという課題に取り組む．特に，シーンに描画されている物体間の階層的な関係 (例: 全体-部分) を利用する方式を確立する．さらに，我々を取り巻く世界における常識的な知識 (コモンセンス知識) を利用する可能性を探求する．
(2) 動画に対する動作記述生成: 既存手法による一般キャプションからコンパクトな動作記述を生成する方式については，ほぼ見通しがついたため，これを構造化された意味注釈形式に変換する言語解析手法の検討を進める．
(3) 動画アドホック検索への適用の試行: 継続して，TRECVID AVSタスクを対象に，クエリに基づく動画検索方式を推進し，評価と要素技術へのフィードバックを行う．
(4) 言語の意味表現に関する基礎研究の推進: 特に動詞に関する意味表現について，基礎研究を継続する．
(5) コモンセンス知識適用に関する検討の開始: シーングラフ生成や動作記述生成において，我々が有する常識的知識 (コモンセンス知識) を適用することの必要性が明らかになりつつある．そこで，コモンセンス知識資源についての調査を進め，上記の要素技術に活かす手段の検討を開始する．さらに，より広範な自然言語処理タスクへの適用についても検討を行う．
|
