Story Video Generation Based on Content Planning Using Knowledge Graphs
| Project/Area Number |
23K28139
|
|---|
| Project/Area Number (Other) |
23H03449 (2023)
|
|---|
| Research Category |
Grant-in-Aid for Scientific Research (B)
|
| Allocation Type | Multi-year Fund (2024)
Single-year Grants (2023) |
|---|
| Section | 一般 |
|---|
| Review Section |
Basic Section 61030:Intelligent informatics-related
Basic Section 60030:Statistical science-related
Sections That Are Subject to Joint Review: Basic Section60030:Statistical science-related , Basic Section61030:Intelligent informatics-related
|
|---|
| Research Institution | The University of Tokyo |
|---|
Principal Investigator |
中山 英樹 東京大学, 大学院情報理工学系研究科, 准教授 (00643305)
|
|---|
| Project Period (FY) |
2023-04-01 – 2026-03-31
|
| Project Status |
Granted (Fiscal Year 2024)
|
| Budget Amount *help |
¥18,720,000 (Direct Cost: ¥14,400,000、Indirect Cost: ¥4,320,000)
Fiscal Year 2025: ¥5,980,000 (Direct Cost: ¥4,600,000、Indirect Cost: ¥1,380,000)
Fiscal Year 2024: ¥5,590,000 (Direct Cost: ¥4,300,000、Indirect Cost: ¥1,290,000)
Fiscal Year 2023: ¥7,150,000 (Direct Cost: ¥5,500,000、Indirect Cost: ¥1,650,000)
|
|---|
| Keywords | 動画像生成 / 生成AI / 自然言語処理 / 言語とビジョン / 知識グラフ / 動画生成 / 三次元画像生成 / Gaussian splatting / シーングラフ / 自然言語理解 / 大規模言語モデル / ストーリー生成 / 生成的AI |
|---|
| Outline of Research at the Start |
ChatGPTやDALL-Eに代表される生成AIが社会で大きな注目を集めるようになりました。しかし、これら最先端の生成AIでも、映画のようにストーリー性を有する長時間の動画像を、全体として辻褄の合うように生成するのは容易ではありません。本研究では、AIによるストーリー動画の生成を、人間にとって解釈性が高く制御可能な形で実現するため、グラフによる内容計画というキーテクノロジーを元に研究を進めます。
|
| Outline of Annual Research Achievements |
まず、大規模言語モデルを利用し、入力ストーリーからシーングラフを構築するプロンプティング手法を開発した。テキストに加えてシーングラフによる条件付けを行うことにより、ストーリーの時間経過に対して一貫した生成を行うことが可能となる。提案手法をストーリー可視化タスクで評価した結果、実際に入力ストーリーに対する画像列の生成精度を向上できることが示された。さらに、生成画像の妥当性を検証するために、画像からシーングラフを抽出する手法の開発も行った。当該手法は電子情報通信学会論文誌へ採択されている。
同時に、画像生成の基本的な性能向上に資する研究を多角的に実施した。特に、本研究で目標とするストーリー動画生成においては、ストーリー進行に応じたさまざまな潜在的条件付けにより、個々のフレームの生成を柔軟にコントロールできることが重要となる。また、良質なアノテーションを施されたデータを十分に得ることが難しい点も大きな問題である。これらの課題に対応するため、我々は代表的な画像生成モデルの一つである敵対的生成ネットワーク(GAN)について、さまざまな潜在表現を用いて頑健な画像編集を行う方法や、少ないデータ・ノイジーなデータからの学習手法などを開発した。これらの成果は、コンピュータビジョンの代表的な国際会議の一つであるWACVへ計3本採択されている。
さらに、画像生成を動画生成へ発展させるために必要不可欠となる、三次元画像生成についても大きな進展を得た。具体的には、条件付け三次元GANにおいて空間的な一貫性を保つ手法や、Gaussian splattingにおける3D Gaussianの高速なパラメタライズ手法などを開発し、それぞれ論文投稿を行った。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
本年度は、ChatGPTに代表される大規模言語モデルの隆盛により、生成AI研究をとりまく環境が激変した年であり、本研究も当初計画の大幅な見直しを余儀なくされた。このような中で、速やかに大規模言語モデルを研究に取り込み効果実証を行い、当初の計画を補強しさらに発展させる見通しがたったことは非常に有意義な成果であったと考える。
また、基礎的な画像生成技術についても本年度は着実な進展が得られており、数多くの国際会議論文が既に採択されている。さらに、研究上の難関と考えられる動画生成の一貫性の実現についても、その基盤となる三次元画像生成を精度・速度の両面で大きく向上させる技術を複数開発し、論文投稿まで至っている。
以上、総合的にみて本年度は十分な成果が得られており、順調に研究が進展していると考える。
|
| Strategy for Future Research Activity |
2023年度の間に、OpenAIのSoraなどの優れた動画生成AIが多数発表され、当初予想していなかったスピードで汎用的な動画生成が実現されつつある。特に、大規模言語モデルを基盤としたプロンプティングにより、ある程度長期的な動画をエンドツーエンドで生成すること自体は既に可能になっているといえる。これを踏まえて本研究の残り期間では、動画生成の質自体の向上よりも、解釈性や操作性を高めることに注力し差別化を図る。
まず、本年度開発したシーングラフ抽出手法により得られるシーングラフを、外部知識グラフにより拡張し、大規模言語モデルへと接続する一連の枠組みを開発する。これにより、シーングラフの高い解釈性・操作性と、大規模言語モデルの優れた推論能力を両立させることを狙う。
この大規模言語モデルの出力あるいは中間表現を条件付けに用いることで、動画の骨格を成すキーフレームを生成するモデルを構築する。キーフレーム生成後は、本年度開発した三次元画像生成手法を用い、キーフレームの間を埋める他のフレームをサンプリングすることで、動画像として完成させる。
最終評価においては、ストーリー動画生成に絶対的な正解は存在しないため、人手による主観評価を主に実施する。クラウドソーシングを用い、提案手法により生成したストーリー動画の質、多様性に加え、知識グラフを介した内容計画の操作性などを評価検証する。
|
Report
(1 results)
Research Products
(17 results)
