| Project/Area Number |
23K24862
|
|---|
| Project/Area Number (Other) |
22H03606 (2022-2023)
|
|---|
| Research Category |
Grant-in-Aid for Scientific Research (B)
|
| Allocation Type | Multi-year Fund (2024)
Single-year Grants (2022-2023) |
|---|
| Section | 一般 |
|---|
| Review Section |
Basic Section 61010:Perceptual information processing-related
|
|---|
| Research Institution | University of Tsukuba |
|---|
Principal Investigator |
金森 由博 筑波大学, システム情報系, 准教授 (10551418)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
遠藤 結城 筑波大学, システム情報系, 助教 (00790396)
|
|---|
| Project Period (FY) |
2022-04-01 – 2026-03-31
|
| Project Status |
Granted (Fiscal Year 2024)
|
| Budget Amount *help |
¥17,420,000 (Direct Cost: ¥13,400,000、Indirect Cost: ¥4,020,000)
Fiscal Year 2025: ¥3,250,000 (Direct Cost: ¥2,500,000、Indirect Cost: ¥750,000)
Fiscal Year 2024: ¥5,590,000 (Direct Cost: ¥4,300,000、Indirect Cost: ¥1,290,000)
Fiscal Year 2023: ¥3,250,000 (Direct Cost: ¥2,500,000、Indirect Cost: ¥750,000)
Fiscal Year 2022: ¥5,330,000 (Direct Cost: ¥4,100,000、Indirect Cost: ¥1,230,000)
|
|---|
| Keywords | 光学要素分解 / 深層学習 / 再照明 |
|---|
| Outline of Research at the Start |
画像の光学要素分解とは、被写体自身の色・模様、形状、被写体を照らす光源に由来する成分へ入力画像を分解する基盤技術である。本研究では既存手法の問題点であった、実写画像に対する汎化性能の低さを克服し、さらに高速・高品質化させ、関連分野の基盤となる技術の開発を目指す。
|
| Outline of Annual Research Achievements |
昨年度に引き続き、光学要素分解における形状および光源の表現方法を検討した。具体的には、形状表現としてデプスマップ、光源の表現として平行光源を用いた手法について、昨年度に国内研究会 (査読なし) で発表した内容に、既存手法との比較や、写実性 (特に光沢やハード・ソフトシャドウの再現度合い) に関するユーザスタディの結果を加え、国際会議への論文投稿を行った。残念ながら採択とはならなかったものの、学術雑誌への推薦枠に選ばれ、現在その学術雑誌への投稿準備中である。また、光学要素分解の応用先として
(1) 人物顔画像
(2) 地形景観画像
を対象とした研究も並行して実施している。(1) については、照明計算に必要な各種マテリアル (座標、法線、拡散反射率、鏡面反射率、ラフネスなど) から微分可能レンダリングに基づいて画像を生成し、その出力画像と正解画像を比較して各種マテリアルを更新する、という研究を行っている。現在は国際会議および国内会議への論文投稿に向けて準備中である。また (2) については、過去に行った「1 枚の地形景観画像から、太陽光に基づく照明計算の逆レンダリングにより、光学要素分解を行う」という研究をアップデートすべく、現在は地形テクスチャのバリエーションを増やすための研究を行っている。こちらは国内で発表を行って受賞し、国際会議に投稿し条件付き採択 (2 段階査読を経て学術雑誌に採録) となった。
|
| Current Status of Research Progress |
Current Status of Research Progress
3: Progress in research has been slightly delayed.
Reason
前述の「形状表現としてデプスマップ、光源の表現として平行光源を用いた手法」については、残念ながらまだ学術雑誌へは論文投稿準備中であり、採録には至っていない。
また、動く被写体に対する、時間的一貫性を考慮した光学要素分解を実施予定であるが、まだ予備実験を行っている段階である。
|
| Strategy for Future Research Activity |
まず前述の「形状表現としてデプスマップ、光源の表現として平行光源を用いた手法」について、学術雑誌での論文採択を目指す。
また、「動く被写体に対する、時間的一貫性を考慮した光学要素分解」について、動く人物を対象として研究を行う。こちらについてもデプスマップを形状表現として採用する予定であるが、デプスマップを時間的に一貫した形で推定できなければ、光の遮蔽の関係で影に大きく影響し、チラつきの原因となる。そこでデプスマップを時間的に一貫した形で推定する方法を重点的に検討する。併せて、推論処理の高速化のため、基底関数に基づく照明計算の定式化を検討する。また、
(1) 人物顔画像
(2) 地形景観画像
を対象とした光学要素分解の応用についても、並行して研究を実施する。
|
