2023 年度研究成果報告書

Vision and language cross-modal for training conditional GANs with long-tail data.

研究課題

研究課題/領域番号	22K17947
研究種目	若手研究
配分区分	基金
審査区分	小区分61030:知能情報学関連
研究機関	東京大学
研究代表者	ヴォミンデュク東京大学, 大学院情報理工学系研究科, 特任助教 (40939906)
研究期間 (年度)	2022-04-01 – 2024-03-31
キーワード	Vision and language / Novel object captioning / GANs / External knowledge
研究成果の概要	本研究は、視覚と言語の空間間におけるクロスモダリティに関する知識を得ることを目的としています。私たちは、物体の視覚的外観と対応する言語記述を含む知識ベースを構築しました。収集された知識ベースが、見たことのない物体の記述能力を向上させ、未来を予測する能力を強化することを実証しました。また、限られたデータセットやオープンセットデータセットの下での生成的敵対的ネットワーク（GAN）のトレーニングおよびGANインバージョンの新しいトレーニングパラダイムを探求しました。
自由記述の分野	Computer vision
研究成果の学術的意義や社会的意義	We shows the efficacy of external knowledge base, helping AI in understanding up-to-date object knowledge and being able to predict the future given a sequence of sparsely temporally-ordered images. We showed the ability of generative AI when it is trained using limited number of training data.