| 研究課題/領域番号 |
20K19816
|
|---|
| 研究機関 | 筑波大学 |
|---|
研究代表者 |
遠藤 結城 筑波大学, システム情報系, 助教 (00790396)
|
|---|
| 研究期間 (年度) |
2020-04-01 – 2023-03-31
|
| キーワード | 意味的画像合成 / 畳み込みニューラルネットワーク / GAN inversion / コンピュータグラフィックス / コンピュータビジョン |
|---|
| 研究実績の概要 |
前年度に引き続き、ユーザがキャンバス上に「ここは建物、ここは木」という風に粗くラベルを塗るだけで、その意味ラベルマップから直感的にそのシーンの画像を生成する、意味的画像合成という技術の研究開発を推進した。本技術は、3Dコンピュータグラフィックスのように複雑なジオメトリ情報やレンダリング設定なしに、直感的に様々なシーンを再現できる点で有用であり、深層学習の発展と共に精力的に研究されている。しかしながら、生成画像の品質や可制御性は未だ十分ではなく、生成モデルの学習に用いる教師データを用意する人的コストも高い。
これらの問題を解決するために、本年度はアノテーション付きの訓練画像が少量でも、写実的な意味的画像合成を実現する方法を新たに開拓した。本研究の特徴的な点は、事前学習したStyleGAN を用いることで写実的な画像生成を実現しながら、少量の訓練データをヒントに意味ラベルマップと潜在空間とのマッピングを行うところにある。このマッピングの実現のために、StyleGAN の中間層から得られる特徴マップを利用した擬似ラベリング手法を提案し、得られた擬似ラベルおよび対応する潜在変数とのマッピングを、畳み込みニューラルネットワークによって学習する。さらに推論時には、最適化処理によって結果をより洗練することで、入力の意味ラベルマップにより忠実な画像を得る。評価実験を通じて、提案手法は従来手法のように大量の学習データを用いなくても、良好な結果を得られることを明らかにした。
|
| 現在までの達成度 (区分) |
現在までの達成度 (区分)
2: おおむね順調に進展している
理由
上述した、StyleGAN による少量のアノテーション付き訓練データからの意味的画像合成の取り組みについては、当初の計画における一番の重要課題である。複数データセットを用いた既存手法との比較実験により、提案法が良好な結果を得られることを確認したことから、順調に進展していると考える。
また、本テーマについて国内最大規模の査読付きシンポジウムであるVC2021において発表し、優秀研究賞を受賞している。
|
| 今後の研究の推進方策 |
提案手法においては、ユーザが意味ラベルマップとして任意の入力を指定するため、生成画像の品質を人間が評価することが重要である。そのため、ユーザスタディ等による実験を実施し提案手法の有効性を検証するとともに、実施した内容についてまとめ、国際会議や論文誌への投稿を進める。
また、提案手法については以下の改良も検討しているところである。
(1) 意味ラベルマップ以外のユーザ入力(e.g., スケッチ)を用いた生成画像の制御
(2) 訓練にアノテーションデータを用いない(zero-shot)環境における生成画像の制御
上記についても適宜結果が得られ次第、外部発表のための準備を進める。
|
