2023 Fiscal Year Annual Research Report
Deep Lighting: Data-Driven Active Light Fields
Publicly Offered Research
| Project Area | Analysis and synthesis of deep SHITSUKAN information in the real world |
|---|
| Project/Area Number |
23H04357
|
|---|
| Research Institution | Kyushu Institute of Technology |
|---|
Principal Investigator |
岡部 孝弘 九州工業大学, 大学院情報工学研究院, 教授 (00396904)
|
|---|
| Project Period (FY) |
2023-04-01 – 2025-03-31
|
| Keywords | コンピュータビジョン / 機械学習 / コンピュテーショナルフォトグラフィ / コンピュテーショナルイルミネーション / 光線空間 |
|---|
| Outline of Annual Research Achievements |
本研究課題を構成するA1からC2の6つの項目のうち，令和5年度は，主に次の3つの項目（A2，B1，C1）に取り組んだ．
A2の画像の効率的な獲得では，複数光源下で撮影した画像から単一光源下の画像を復元する符号化照明に取り組んだ．具体的には，符号化照明パタンと復号処理を同時に学習することで，拡散反射の低周波性や量子化ノイズの影響を大きく受けてしまうという，従来の多重化照明や圧縮センシングの問題点を解決する手法を提案した．
B1の直接成分と大域成分の分離では，プロジェクタ-カメラシステムを用いた分離に取り組んだ．具体的には，プロジェクタの投影パタン，カメラの露光パタン，および，分離処理の3つを同時に学習することで，焦点ぼけに脆弱で時間分解能が低いという従来手法の問題点を解決した．
C1の再照明では，異なる照明条件で撮影された少数の画像から，任意光源方向下の写実的画像を生成する照明シミュレーションに取り組んだ．具体的には，点光源だけでなく面光源も利用するとともに，複数光源の同時点灯も許容して，照明環境と生成処理の両方を同時に学習することで，従来は困難であった少数画像からの鏡面反射成分の生成を実現した．
また，B1に関連して，従来は困難であった任意視点における直接・大域成分の分離とその質感編集への応用に取り組んだ．さらに，C1に関連して，任意視点・任意光源色における蛍光物体の画像生成にも取り組んだ．
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
令和5年度の計画では，主にA2の画像の効率的な獲得，B1の直接成分と大域成分の分離，C1の再照明に取り組む予定であった．上記の3つの項目全てについて一定の成果をあげていることから，おおむね順調に進展していると言える．
|
| Strategy for Future Research Activity |
当初の計画に沿って研究を推進する．本年度は主に，A1の素材の識別，B2の鏡面反射成分，拡散反射成分，および，大域成分の分離，C2の表面粗さの推定に取り組むとともに，これまでに研究・開発してきた技術をブラッシュアップする．
|
