Developing Semantic Image Synthesis Model Using Limited Training Data
| Project/Area Number |
20K19816
|
|---|
| Research Category |
Grant-in-Aid for Early-Career Scientists
|
| Allocation Type | Multi-year Fund |
|---|
| Review Section |
Basic Section 61010:Perceptual information processing-related
|
|---|
| Research Institution | University of Tsukuba |
|---|
Principal Investigator |
Endo Yuki 筑波大学, システム情報系, 助教 (00790396)
|
|---|
| Project Period (FY) |
2020-04-01 – 2023-03-31
|
| Project Status |
Completed (Fiscal Year 2022)
|
| Budget Amount *help |
¥4,160,000 (Direct Cost: ¥3,200,000、Indirect Cost: ¥960,000)
Fiscal Year 2022: ¥650,000 (Direct Cost: ¥500,000、Indirect Cost: ¥150,000)
Fiscal Year 2021: ¥1,820,000 (Direct Cost: ¥1,400,000、Indirect Cost: ¥420,000)
Fiscal Year 2020: ¥1,690,000 (Direct Cost: ¥1,300,000、Indirect Cost: ¥390,000)
|
|---|
| Keywords | 深層学習 / 画像生成 / GAN / 意味的画像合成 / 畳み込みニューラルネットワーク / GAN inversion / コンピュータグラフィックス / コンピュータビジョン / 変分オートエンコーダ / 画像合成 |
|---|
| Outline of Research at the Start |
意味的画像合成は、ユーザがキャンバス上に「ここは建物、ここは木」という風に粗くラベルを塗るだけで、直感的に画像を生成できる技術であり、世界的に注目を集めている。深層学習によって大量の教師データを用いた学習をすれば写実的な画像を作れるが、教師データ作成の人的コストは大きい。本研究では、限られたラベル付教師データやラベルなし訓練データを効率的に活用できる深層学習の枠組みを開拓し、従来よりも高品質な意味的画像合成の実現を目指す。
|
| Outline of Final Research Achievements |
Semantic image synthesis is a technique that can generate images from a semantic map annotated with pixel-level labels, such as buildings and trees. In this research, we developed an algorithm that can perform high-quality and diverse semantic image synthesis using only a small amount of labeled training data. Furthermore, we also developed a method for controlling the layout of generated images without using any labeled training data. We obtained research outcomes containing semantic image synthesis diversification (two domestic meetings and two journals/international conferences), few-shot semantic image synthesis (one domestic meeting and one journal/international conference), and zero-shot control of image generation (one domestic meeting and one journal/international conference).
|
| Academic Significance and Societal Importance of the Research Achievements |
本研究成果は、ここ数年で急速に発展している画像生成モデルにおいて、ユーザが介入可能な方法を開拓し、意味ラベルマップなど用いて出力を従来よりも低コストで、柔軟かつ多様に制御可能な方法を示したことに学術的な意義がある。社会的には、コンテンツ産業における創作活動の促進だけでなく、自動運転や医用画像解析の画像認識モデルの精度向上のための訓練データの構築など、本技術の広範な応用が期待できる。
|
Report
(4 results)
Research Products
(11 results)
