Deep semantic annotation of video contents
| Project/Area Number |
17H01831
|
|---|
| Research Category |
Grant-in-Aid for Scientific Research (B)
|
| Allocation Type | Single-year Grants |
|---|
| Section | 一般 |
|---|
| Research Field |
Library and information science/Humanistic social informatics
|
|---|
| Research Institution | Waseda University |
|---|
Principal Investigator |
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
加藤 恒昭 東京大学, 大学院総合文化研究科, 教授 (60334299)
小川 哲司 早稲田大学, 理工学術院, 教授 (70386598)
植木 一也 明星大学, 情報学部, 准教授 (80580638)
|
|---|
| Project Period (FY) |
2017-04-01 – 2021-03-31
|
| Project Status |
Completed (Fiscal Year 2021)
|
| Budget Amount *help |
¥16,250,000 (Direct Cost: ¥12,500,000、Indirect Cost: ¥3,750,000)
Fiscal Year 2020: ¥3,510,000 (Direct Cost: ¥2,700,000、Indirect Cost: ¥810,000)
Fiscal Year 2019: ¥4,030,000 (Direct Cost: ¥3,100,000、Indirect Cost: ¥930,000)
Fiscal Year 2018: ¥4,030,000 (Direct Cost: ¥3,100,000、Indirect Cost: ¥930,000)
Fiscal Year 2017: ¥4,680,000 (Direct Cost: ¥3,600,000、Indirect Cost: ¥1,080,000)
|
|---|
| Keywords | 情報資源の構築・管理 / 動画 / 意味的注釈 / シーングラフ生成 / キャプション生成 / 動詞意味論 / 語彙意味関係 / オントロジー / 動作・動作記述生成 / コモンセンス知識 / 動作の意味論 / 機械学習 / 動作キャプション |
|---|
| Outline of Final Research Achievements |
To enable an advanced retrieval system or an intelligent knowledge extraction system that deals with a large set of video contents, it is essential to semantically annotate them adequately. Towards this ultimate goal, this study researched fundamental technologies that combine vision and language technologies. More specifically, we have developed an effective yet efficient scene graph generation systems and an action captioning system. Empirical results show that the resulting systems generally performed better than the comparative systems. These systems respectively achieve information structure adequate for computer processing and for human consumption.
|
| Academic Significance and Societal Importance of the Research Achievements |
動画コンテンツは継続的に増加しており，これらのコンテンツに対する高度なアクセス手段の提供や，コンテンツから有用な情報や知識を抽出機能が求められている．本研究の成果は，このような機能・システムを実現するための基盤技術として活用することが可能である．開発した技術は，映像・画像情報と言語情報を統合的に利用するものであり，マルチメディア・マルチモーダル情報処理技術の高度化に寄与しうる．
|
Report
(5 results)
Research Products
(93 results)
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
[Book] Springer2017
Author(s)
van Erp, M., Hellmann, S., McCrae, J.P., Chiarcos, C., Choi, K.-S., Gracia, J., Hayashi, Y., Koide, S., Mendes, P., Paulheim, H., Takeda, H. (Eds.)
Total Pages
152
Publisher
Knowledge Graphs and Language Technology
ISBN
9783319687230
Related Report
-
