Fusion of Reality and Creativity in Lifelog

• Project/Area Number: 24H00742
• Research Category: Grant-in-Aid for Scientific Research (A)
• Allocation Type: Single-year Grants
• Section: 一般
• Review Section: Medium-sized Section 62:Applied informatics and related fields
• Research Institution: Kyoto University
• Principal Investigator: 吉井 和佳 京都大学, 工学研究科, 教授 (20510001)
• Co-Investigator(Kenkyū-buntansha): 河原 達也 京都大学, 情報学研究科, 教授 (00234104) ; 延原 章平 京都工芸繊維大学, 情報工学・人間科学系, 教授 (00423020) ; 森島 繁生 早稲田大学, 理工学術院, 教授 (10200411) ; 西野 恒 京都大学, 情報学研究科, 教授 (60814754)
• Project Period (FY): 2024-04-01 – 2028-03-31
• Project Status: Granted (Fiscal Year 2024)
• Budget Amount: ¥47,580,000 (Direct Cost: ¥36,600,000、Indirect Cost: ¥10,980,000); Fiscal Year 2024: ¥12,480,000 (Direct Cost: ¥9,600,000、Indirect Cost: ¥2,880,000)
• Keywords: 視聴覚環境理解 / 三次元形状推定 / 生成AI

Outline of Research at the Start

本研究では、創造性に基づく人間拡張および写実主義から脱却したライフログに取り組む。具体的には、日常生活をリソースとしたユーザセントリックなミュージカルビデオの生成に挑戦する。まず、ユーザを含む完全な時空間環境を推定し、操作可能な視聴覚オブジェクト表現に還元する。次に、オブジェクト群からストーリー編成を行ったうえで、ユーザディレクション方向への内挿・外挿に基づく映像・音楽レンダリングを行う。