2021 Fiscal Year Final Research Report
Deep semantic annotation of video contents
| Project/Area Number |
17H01831
|
|---|
| Research Category |
Grant-in-Aid for Scientific Research (B)
|
| Allocation Type | Single-year Grants |
|---|
| Section | 一般 |
|---|
| Research Field |
Library and information science/Humanistic social informatics
|
|---|
| Research Institution | Waseda University |
|---|
Principal Investigator |
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
加藤 恒昭 東京大学, 大学院総合文化研究科, 教授 (60334299)
小川 哲司 早稲田大学, 理工学術院, 教授 (70386598)
植木 一也 明星大学, 情報学部, 准教授 (80580638)
|
|---|
| Project Period (FY) |
2017-04-01 – 2021-03-31
|
| Keywords | 情報資源の構築・管理 / 動画 / 意味的注釈 / シーングラフ生成 / キャプション生成 / 動詞意味論 / 語彙意味関係 / オントロジー |
|---|
| Outline of Final Research Achievements |
To enable an advanced retrieval system or an intelligent knowledge extraction system that deals with a large set of video contents, it is essential to semantically annotate them adequately. Towards this ultimate goal, this study researched fundamental technologies that combine vision and language technologies. More specifically, we have developed an effective yet efficient scene graph generation systems and an action captioning system. Empirical results show that the resulting systems generally performed better than the comparative systems. These systems respectively achieve information structure adequate for computer processing and for human consumption.
|
| Free Research Field |
自然言語処理
|
| Academic Significance and Societal Importance of the Research Achievements |
動画コンテンツは継続的に増加しており，これらのコンテンツに対する高度なアクセス手段の提供や，コンテンツから有用な情報や知識を抽出機能が求められている．本研究の成果は，このような機能・システムを実現するための基盤技術として活用することが可能である．開発した技術は，映像・画像情報と言語情報を統合的に利用するものであり，マルチメディア・マルチモーダル情報処理技術の高度化に寄与しうる．
|
