| 研究課題/領域番号 |
22KJ1014
|
|---|
| 補助金の研究課題番号 |
22J20499 (2022)
|
|---|
| 研究種目 |
特別研究員奨励費
|
| 配分区分 | 基金 (2023)
補助金 (2022) |
|---|
| 応募区分 | 国内 |
|---|
| 審査区分 |
小区分61010:知覚情報処理関連
|
|---|
| 研究機関 | 東京大学 |
|---|
研究代表者 |
堀田 大地 東京大学, 情報理工学系研究科, 特別研究員(DC1)
|
|---|
| 研究期間 (年度) |
2023-03-08 – 2025-03-31
|
| 研究課題ステータス |
交付 (2023年度)
|
| 配分額 *注記 |
2,500千円 (直接経費: 2,500千円)
2024年度: 800千円 (直接経費: 800千円)
2023年度: 800千円 (直接経費: 800千円)
2022年度: 900千円 (直接経費: 900千円)
|
|---|
| キーワード | 拡散モデル / 画像補完 / 画像生成 / HDR合成 / 深層生成モデル |
|---|
| 研究開始時の研究の概要 |
単一画像からの高ダイナミックレンジ(HDR)深層画像生成に研究の焦点を定めている．本研究では，深層学習を用いた単一画像からのHDR画像生成を行う技術を提案する．白・黒飛びのようなダイナミックレンジの不足が顕著である領域を重点的に復元できるような手法の構築を目指す．加えて，この深層学習モデルを訓練できるような実世界データセットの構築も予定している．加えて，より汎用的な技術の発展に貢献するために，HDR合成以外の研究であってもアプローチを行う予定である．
|
| 研究実績の概要 |
前年度にデータセットを作成し、そのデータを用いて本課題である単一画像からの高ダイナミッ
クレンジ深層画像生成を達成するための手法を構築したが、論文は採録されることはなかっ
た。今年度も引き続き前年度構築したデータや手法を元に改善を試みたが、良い結果は得られ
なかった。2022年8月にStable diffusionが公開されて以降、コンピュータビジョンは怒涛の
進展を遂げている。HDR生成を達成するために必要な飽和するような領域を再度描画できるようなアプローチであるInpaintingに注目し、Stable diffusionの強力な生成能力と組み合わせる手法を構築した。具体的には、本研究計画書にも記した外部情報、つまり線画を用いた画像生成技術を構築した。本提案により、生成結果を使用者が編集できるので、意図にそぐわない結果が生成されたとしても後処理で編集できる技術である。大規模データセットで事前学習された線画生成器と画像生成器を用いることで、入力情報があまりないような条件であっても高品質な結果が得られることが期待できる。提案手法として、この２つの生成器を一気通貫学習を行う手法を提案した。ベイジアンデノイジングのTweedie公式を用いることで、シングルステップでの粗いノイズ除去を達成し、微分可能かつ拡散モデルの定式化による不都合を取り除いた状態で学習が行える。実験では、我々の提案する手法が既存の最先端の手法と比較して同等もしくはそれ以上の生成能力を有していることを示した。この研究は本課題である単一画像からの高ダイナミックレンジ深層画像生成を達成するうえで重要な基盤技術を提供するだけでなく、複数の拡散モデルを同時に学習する問題や、画像補完技術の発展に大きく貢献したものである。本提案では、高ダイナミックレンジ深層画像生成を達成する上で重要となる、元入力が存在しない状況での生成技術を発展させたものである。
|
| 現在までの達成度 (区分) |
現在までの達成度 (区分)
2: おおむね順調に進展している
理由
データセットの構築や、基盤生成技術の構築の２点は大きく前進した。しかし、本課題を直接的に扱う手法の構築には至らなかった。
|
| 今後の研究の推進方策 |
大規模データセットで事前学習されたStable diffusionと画像補完技術の組み合わせをさらに開拓し、本研究課題でも使うことのできるような方法を構築する。
|
