Story Video Generation Based on Content Planning Using Knowledge Graphs

• Project/Area Number: 23K28139
• Project/Area Number (Other): 23H03449 (2023)
• Research Category: Grant-in-Aid for Scientific Research (B)
• Allocation Type: Multi-year Fund (2024); Single-year Grants (2023)
• Section: 一般
• Review Section: Basic Section 61030:Intelligent informatics-related; Basic Section 60030:Statistical science-related; Sections That Are Subject to Joint Review: Basic Section60030:Statistical science-related , Basic Section61030:Intelligent informatics-related
• Research Institution: The University of Tokyo
• Principal Investigator: 中山 英樹 東京大学, 大学院情報理工学系研究科, 准教授 (00643305)
• Project Period (FY): 2023-04-01 – 2026-03-31
• Project Status: Granted (Fiscal Year 2024)
• Budget Amount: ¥18,720,000 (Direct Cost: ¥14,400,000、Indirect Cost: ¥4,320,000); Fiscal Year 2025: ¥5,980,000 (Direct Cost: ¥4,600,000、Indirect Cost: ¥1,380,000); Fiscal Year 2024: ¥5,590,000 (Direct Cost: ¥4,300,000、Indirect Cost: ¥1,290,000); Fiscal Year 2023: ¥7,150,000 (Direct Cost: ¥5,500,000、Indirect Cost: ¥1,650,000)
• Keywords: 動画像生成 / 生成AI / 自然言語処理 / 言語とビジョン / 知識グラフ / ストーリー生成 / 生成的AI

Outline of Research at the Start

ChatGPTやDALL-Eに代表される生成AIが社会で大きな注目を集めるようになりました。しかし、これら最先端の生成AIでも、映画のようにストーリー性を有する長時間の動画像を、全体として辻褄の合うように生成するのは容易ではありません。本研究では、AIによるストーリー動画の生成を、人間にとって解釈性が高く制御可能な形で実現するため、グラフによる内容計画というキーテクノロジーを元に研究を進めます。