2020 Fiscal Year Annual Research Report
Deep semantic annotation of video contents
| Project/Area Number |
17H01831
|
|---|
| Research Institution | Waseda University |
|---|
Principal Investigator |
林 良彦 早稲田大学, 理工学術院, 教授(任期付) (80379156)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
加藤 恒昭 東京大学, 大学院総合文化研究科, 教授 (60334299)
小川 哲司 早稲田大学, 理工学術院, 教授 (70386598)
植木 一也 明星大学, 情報学部, 准教授 (80580638)
|
|---|
| Project Period (FY) |
2017-04-01 – 2021-03-31
|
| Keywords | 情報資源の構築・管理 / 動画 / 意味的注釈 / シーングラフ生成 / 動作・動作記述生成 / 動詞意味論 / オントロジー / コモンセンス知識 |
|---|
| Outline of Annual Research Achievements |
本研究の目的は，動画中の動作内容を表す意味注釈を付与する方式を実現することにある．最終年度にあたる2020年度，および，期間延長した2021年度は，関連する技術項目に関して，以下の進捗を得た．(論文:2件，国際会議発表 (査読・会議録有り):7件，国内会議発表:13件)
(1) シーングラフの効率的かつ高精度な生成: 動画におけるキーフレーム画像の内容を端的に表すシーングラフを生成する．今期は，画像中の物体間の階層的な関係 (例: 全体-部分) を利用することにより，計算の効率化とシーングラフ生成の精度向上を両立させる方式の検討を進め，既存研究を上回る精度を達成した．
(2) 動作と言語の相互変換・生成: ロボットの動作をキャプチャした動画とそれに対する説明キャプションが付与されたデータセットをもとに，ロボットの関節角の時系列で表される動作と言語との相互変換・生成に関する検討を進め，未知語の存在に対しても頑健な方式を明らかにした．また，少量の動作と動作記述とのペアデータデータを用いて動作・言語記述の相互変換を実現する学習方式について，一定の見通しを得た．
(3) 言語の意味表現に関する基礎研究の推進: 動作記述の生成や動作の生成において重要となる事物に関する属性情報を予測する手法について検討を進めた．また，動作記述の時系列的側面を捉えるために重要となる動詞意味論に関してこれまでの知見の整理を進めた．
(4) コモンセンス知識適用に関する検討: シーングラフ生成や動作記述生成において，人間が有するコモンセンス知識を適用することの必要性・有用性が明らかになった．そこで，本課題だけでなくより広範囲な言語処理タスクへの適用を視野に必要な研究課題を明らかにし，新たな科研費研究課題を提案した (2022年度～2024年度基盤研究Cとして新規採択)．
|
| Research Progress Status |
令和2年度が最終年度であるため、記入しない。
|
| Strategy for Future Research Activity |
令和2年度が最終年度であるため、記入しない。
|
