| Project/Area Number |
23K24862
|
|---|
| Project/Area Number (Other) |
22H03606 (2022-2023)
|
|---|
| Research Category |
Grant-in-Aid for Scientific Research (B)
|
| Allocation Type | Multi-year Fund (2024)
Single-year Grants (2022-2023) |
|---|
| Section | 一般 |
|---|
| Review Section |
Basic Section 61010:Perceptual information processing-related
|
|---|
| Research Institution | University of Tsukuba |
|---|
Principal Investigator |
金森 由博 筑波大学, システム情報系, 准教授 (10551418)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
遠藤 結城 筑波大学, システム情報系, 助教 (00790396)
|
|---|
| Project Period (FY) |
2022-04-01 – 2026-03-31
|
| Project Status |
Granted (Fiscal Year 2024)
|
| Budget Amount *help |
¥17,420,000 (Direct Cost: ¥13,400,000、Indirect Cost: ¥4,020,000)
Fiscal Year 2025: ¥3,250,000 (Direct Cost: ¥2,500,000、Indirect Cost: ¥750,000)
Fiscal Year 2024: ¥5,590,000 (Direct Cost: ¥4,300,000、Indirect Cost: ¥1,290,000)
Fiscal Year 2023: ¥3,250,000 (Direct Cost: ¥2,500,000、Indirect Cost: ¥750,000)
Fiscal Year 2022: ¥5,330,000 (Direct Cost: ¥4,100,000、Indirect Cost: ¥1,230,000)
|
|---|
| Keywords | 光学要素分解 / 深層学習 / 再照明 |
|---|
| Outline of Research at the Start |
画像の光学要素分解とは、被写体自身の色・模様、形状、被写体を照らす光源に由来する成分へ入力画像を分解する基盤技術である。本研究では既存手法の問題点であった、実写画像に対する汎化性能の低さを克服し、さらに高速・高品質化させ、関連分野の基盤となる技術の開発を目指す。
|
| Outline of Annual Research Achievements |
本研究課題の申請当初に検討した、光学要素分解における形状および光源の表現方法を検討した。具体的には、形状表現としてデプスマップ、光源の表現として平行光源を検討した。デプスマップは入力画像からニューラルネットワークを用いて推定される。環境光源を平行光源の集合で近似し、「各平行光源がデプスマップにより遮蔽されることでキャストシャドウが生じる」という関係を微分可能レンダリングによって表現し、光源および形状の高精度な同時推定を目指した。平行光源を配置して環境マップを近似する際、既存研究での貪欲法による配置では近似精度が十分でなかったため、物体を環境マップおよび平行光源群で照らしたときの陰影が一致するよう、最適化を行った。しかし平行光源群を用いてキャストシャドウを計算する方法は、平行光源 1 つごとにシャドウマップを計算する必要があるため計算コストが高く、平行光源の数を数十程度に抑える必要があり、曇天のような環境光源の場合でも描画結果にハードシャドウが目立つ、という不具合が生じた (本来であれば曇天下では影の輪郭ははっきりとは現れないはずである)。そこでハードシャドウではなく、近似的にソフトシャドウを計算することで、比較的少数の平行光源であっても環境光源をうまく近似できるよう模索した。以上の成果を国内研究会 (査読なし) で発表した。現在は既存手法との比較を行い、国際会議への論文投稿を準備中である。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
当初の研究計画の 1 つである、形状表現としてデプスマップ、光源表現として平行光源を用いた、光学要素分解の新しい定式化を検証でき、さらにその問題点に対する対策まで提案することができたため。
|
| Strategy for Future Research Activity |
ハードシャドウを計算する場合の影の輪郭が目立つ問題については、近似的にソフトシャドウを計算する方法によって解消できたが、計算コストが高いという問題はそのまま残っている。今後の研究方針として、全周波 (低周波から高周波まで) の影を扱いつつ計算コストを抑えるために、別の定式化を検討する。1 つの候補は球面ガウス関数による定式化である。また本研究の応用として、光学要素分解を適用した被写体を画像合成に適用する、ということを検討している。1 枚の画像中の被写体、例えば人物に光学要素分解を適用し、その人物を、別の照明環境下の画像を背景として合成する。その背景画像の照明環境は既知、あるいは、未知の場合は照明環境を推定する。背景画像の照明環境を用いて被写体の陰影を再計算することにより、被写体の陰影を背景画像の照明環境に合わせた上で自然に合成できることが期待される。
|
Report
(1 results)
Research Products
(4 results)
