2020 年度実施状況報告書

限られた教師データを用いた意味的画像合成モデルの開発

研究課題

研究課題/領域番号	20K19816
研究機関	筑波大学
研究代表者	遠藤結城筑波大学, システム情報系, 助教 (00790396)
研究期間 (年度)	2020-04-01 – 2023-03-31
キーワード	意味的画像合成 / 畳み込みニューラルネットワーク / 変分オートエンコーダ / コンピュータグラフィックス / コンピュータビジョン
研究実績の概要	ユーザがキャンバス上に「ここは建物、ここは木」という風に粗くラベルを塗るだけで、その意味ラベルマップから直感的にそのシーンの画像を生成する、意味的画像合成という技術の研究開発を推進した。本技術は、3Dコンピュータグラフィックスのように複雑なジオメトリ情報やレンダリング設定なしに、直感的に様々なシーンを再現できる点で有用であり、深層学習の発展と共に精力的に研究されている。しかしながら、生成画像の品質や可制御性は未だ十分ではなく、生成モデルの学習に用いる教師データを用意する人的コストも高い。これらの問題を解決するために、具体的に本年度は以下の研究課題に取り組んだ。 (1)単一の意味ラベルマップから、複数の多様（マルチモーダル）な画像を生成する手法を開発した。本研究の特徴的な点は、ラベルの種類やテクスチャの粗さごとに画像のスタイルを、畳み込みニューラルネットワークでモデリングすることである。これにより、生成画像の品質を保持したまま、より細かい出力の制御が可能になり、従来技術よりも多様かつ柔軟な画像生成ができるようになった。この成果を論文にまとめ、国際会議Pacific Graphics 2020 において発表した。成果物は自身のWeb のプロジェクトページにおいても公開し、誰でも試せるようにソースコードも公開している。 (2)ラベル付き教師データが少数しか得られない状況でも写実的な意味的画像合成が可能な手法についても研究を進めている。まだ結果に改善の余地はあるものの、複数のデータセットに対して、定量的にも定性的にも従来手法よりも良好な結果が得られたため、これまでの成果を国際会議に投稿する準備を進めている。
現在までの達成度 (区分)	現在までの達成度 (区分) 1: 当初の計画以上に進展している理由研究計画において課題の一つとして挙げた生成画像の多様化については、期待できる結果が得られ、すでに成果を国際会議で発表済みである。残りの課題である、少数の教師データからの高品質な意味的画像合成についても、従来研究よりも良好な結果が得られているので、当初の計画以上に進展していると考える。
今後の研究の推進方策	引き続き、少数のラベル付きデータからの意味的画像合成技術の開発を推進する。これまでの実験結果をふまえると、現在検討中の畳み込みニューラルネットワークを用いた画像生成モデルでは、生成できる画像の品質に限界があると予想している。そこで今後は、複数のデータセットによるさらなる実験と検証を行いながら、必要に応じて画像最適化によるアプローチなどの検討も進めていく予定である。