2023 Fiscal Year Research-status Report
| Project/Area Number |
22KJ1014
|
|---|
| Allocation Type | Multi-year Fund |
|---|
| Research Institution | The University of Tokyo |
|---|
Principal Investigator |
堀田 大地 東京大学, 情報理工学系研究科, 特別研究員(DC1)
|
|---|
| Project Period (FY) |
2023-03-08 – 2025-03-31
|
| Keywords | 拡散モデル / 画像補完 / 画像生成 |
|---|
| Outline of Annual Research Achievements |
前年度にデータセットを作成し、そのデータを用いて本課題である単一画像からの高ダイナミッ
クレンジ深層画像生成を達成するための手法を構築したが、論文は採録されることはなかっ
た。今年度も引き続き前年度構築したデータや手法を元に改善を試みたが、良い結果は得られ
なかった。2022年8月にStable diffusionが公開されて以降、コンピュータビジョンは怒涛の
進展を遂げている。HDR生成を達成するために必要な飽和するような領域を再度描画できるようなアプローチであるInpaintingに注目し、Stable diffusionの強力な生成能力と組み合わせる手法を構築した。具体的には、本研究計画書にも記した外部情報、つまり線画を用いた画像生成技術を構築した。本提案により、生成結果を使用者が編集できるので、意図にそぐわない結果が生成されたとしても後処理で編集できる技術である。大規模データセットで事前学習された線画生成器と画像生成器を用いることで、入力情報があまりないような条件であっても高品質な結果が得られることが期待できる。提案手法として、この２つの生成器を一気通貫学習を行う手法を提案した。ベイジアンデノイジングのTweedie公式を用いることで、シングルステップでの粗いノイズ除去を達成し、微分可能かつ拡散モデルの定式化による不都合を取り除いた状態で学習が行える。実験では、我々の提案する手法が既存の最先端の手法と比較して同等もしくはそれ以上の生成能力を有していることを示した。この研究は本課題である単一画像からの高ダイナミックレンジ深層画像生成を達成するうえで重要な基盤技術を提供するだけでなく、複数の拡散モデルを同時に学習する問題や、画像補完技術の発展に大きく貢献したものである。本提案では、高ダイナミックレンジ深層画像生成を達成する上で重要となる、元入力が存在しない状況での生成技術を発展させたものである。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
データセットの構築や、基盤生成技術の構築の２点は大きく前進した。しかし、本課題を直接的に扱う手法の構築には至らなかった。
|
| Strategy for Future Research Activity |
大規模データセットで事前学習されたStable diffusionと画像補完技術の組み合わせをさらに開拓し、本研究課題でも使うことのできるような方法を構築する。
|
