Automatic generation of vignette illustrations

• Project/Area Number: 23K18468
• Research Category: Grant-in-Aid for Challenging Research (Exploratory)
• Allocation Type: Multi-year Fund
• Review Section: Medium-sized Section 60:Information science, computer engineering, and related fields
• Research Institution: Keio University
• Principal Investigator: 藤代 一成 慶應義塾大学, 理工学部(矢上), 教授 (00181347)
• Co-Investigator(Kenkyū-buntansha): 茅 暁陽 山梨大学, その他部局等, 理事 (20283195)
• Project Period (FY): 2023-06-30 – 2026-03-31
• Project Status: Granted (Fiscal Year 2023)
• Budget Amount: ¥6,240,000 (Direct Cost: ¥4,800,000、Indirect Cost: ¥1,440,000); Fiscal Year 2025: ¥1,820,000 (Direct Cost: ¥1,400,000、Indirect Cost: ¥420,000); Fiscal Year 2024: ¥1,820,000 (Direct Cost: ¥1,400,000、Indirect Cost: ¥420,000); Fiscal Year 2023: ¥2,600,000 (Direct Cost: ¥2,000,000、Indirect Cost: ¥600,000)
• Keywords: ヴィネットイラスト / 要約 / メディア変換 / 深層学習 / 視線追跡

Outline of Research at the Start

本研究では，最新の深層学習を利用して，与えられたビデオやゲームの世界観を圧倒的な情報圧縮率で可視化するヴィネットイラストを自動生成するシステムVigNet (Visual Generative Network)を開発する．個々のビューア/プレイヤが注目している元メディアの要素を無意識的に同定する目的で，視線追跡を活用する．さらに，イラスト要素の意味論的な位置決めや姿勢，表情，色調等の微調整に挑む．