| Project/Area Number |
22KJ1014
|
|---|
| Project/Area Number (Other) |
22J20499 (2022)
|
|---|
| Research Category |
Grant-in-Aid for JSPS Fellows
|
| Allocation Type | Multi-year Fund (2023)
Single-year Grants (2022) |
|---|
| Section | 国内 |
|---|
| Review Section |
Basic Section 61010:Perceptual information processing-related
|
|---|
| Research Institution | The University of Tokyo |
|---|
Principal Investigator |
堀田 大地 東京大学, 情報理工学系研究科, 特別研究員(DC1)
|
|---|
| Project Period (FY) |
2023-03-08 – 2025-03-31
|
| Project Status |
Granted (Fiscal Year 2023)
|
| Budget Amount *help |
¥2,500,000 (Direct Cost: ¥2,500,000)
Fiscal Year 2024: ¥800,000 (Direct Cost: ¥800,000)
Fiscal Year 2023: ¥800,000 (Direct Cost: ¥800,000)
Fiscal Year 2022: ¥900,000 (Direct Cost: ¥900,000)
|
|---|
| Keywords | 拡散モデル / 画像補完 / 画像生成 / HDR合成 / 深層生成モデル |
|---|
| Outline of Research at the Start |
単一画像からの高ダイナミックレンジ(HDR)深層画像生成に研究の焦点を定めている．本研究では，深層学習を用いた単一画像からのHDR画像生成を行う技術を提案する．白・黒飛びのようなダイナミックレンジの不足が顕著である領域を重点的に復元できるような手法の構築を目指す．加えて，この深層学習モデルを訓練できるような実世界データセットの構築も予定している．加えて，より汎用的な技術の発展に貢献するために，HDR合成以外の研究であってもアプローチを行う予定である．
|
| Outline of Annual Research Achievements |
前年度にデータセットを作成し、そのデータを用いて本課題である単一画像からの高ダイナミッ
クレンジ深層画像生成を達成するための手法を構築したが、論文は採録されることはなかっ
た。今年度も引き続き前年度構築したデータや手法を元に改善を試みたが、良い結果は得られ
なかった。2022年8月にStable diffusionが公開されて以降、コンピュータビジョンは怒涛の
進展を遂げている。HDR生成を達成するために必要な飽和するような領域を再度描画できるようなアプローチであるInpaintingに注目し、Stable diffusionの強力な生成能力と組み合わせる手法を構築した。具体的には、本研究計画書にも記した外部情報、つまり線画を用いた画像生成技術を構築した。本提案により、生成結果を使用者が編集できるので、意図にそぐわない結果が生成されたとしても後処理で編集できる技術である。大規模データセットで事前学習された線画生成器と画像生成器を用いることで、入力情報があまりないような条件であっても高品質な結果が得られることが期待できる。提案手法として、この２つの生成器を一気通貫学習を行う手法を提案した。ベイジアンデノイジングのTweedie公式を用いることで、シングルステップでの粗いノイズ除去を達成し、微分可能かつ拡散モデルの定式化による不都合を取り除いた状態で学習が行える。実験では、我々の提案する手法が既存の最先端の手法と比較して同等もしくはそれ以上の生成能力を有していることを示した。この研究は本課題である単一画像からの高ダイナミックレンジ深層画像生成を達成するうえで重要な基盤技術を提供するだけでなく、複数の拡散モデルを同時に学習する問題や、画像補完技術の発展に大きく貢献したものである。本提案では、高ダイナミックレンジ深層画像生成を達成する上で重要となる、元入力が存在しない状況での生成技術を発展させたものである。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
データセットの構築や、基盤生成技術の構築の２点は大きく前進した。しかし、本課題を直接的に扱う手法の構築には至らなかった。
|
| Strategy for Future Research Activity |
大規模データセットで事前学習されたStable diffusionと画像補完技術の組み合わせをさらに開拓し、本研究課題でも使うことのできるような方法を構築する。
|
