2022 Fiscal Year Research-status Report
Lighting Environment Estimation based on Structural Coloration
| Project/Area Number |
21K11962
|
|---|
| Research Institution | Osaka University |
|---|
Principal Investigator |
浦西 友樹 大阪大学, サイバーメディアセンター, 准教授 (00533738)
|
|---|
| Project Period (FY) |
2021-04-01 – 2024-03-31
|
| Keywords | 光源環境推定 / 構造色 |
|---|
| Outline of Annual Research Achievements |
シーンの光源環境推定は，拡張現実における実環境とバーチャル物体の光学的整合性の維持において重要な役割を果たし，さらにロボットの視覚センサとして周辺環境を理解する際にも重要となる処理であるなど，コンピュータビジョンにおいて重要な課題の一つである．本研究では数理モデルとニューラルネットワークを組み合わせて用い，シーンの光源環境を推定する手法の確立を目指している．具体的に本研究課題では，構造色を手がかりとした光源のパラメータ推定を目的とする．構造色とは，薄膜や微粒子，微小な溝など，光の波長以下の微細構造により発生する光路差に起因する発色であり，観測視点および光源の方向に依存して観測される色が変化する特徴を有している．構造色の発色パターンからシーンに存在する光源の方向や分光分布を推定するモデルを，数理・機械学習の両面からアプローチして構築する．
令和4年度においては，当初設定したサブトピックのうちの1つ，単一構造色パターンからの光源推定に令和3年度に引き続いて取り組んだ．本研究では構造色を発する光ディスクを参照物体として観測し，観測された構造色パターンから発色パターンをモデル化する枠組みを導入した．光源の方向と分光分布が推定可能なニューラルネットワークを構成し，分光分布が既知の光源と全方位カメラを用いて収集したデータを用いてネットワークを学習させた．暗室環境や室内環境において，支配的な光源の方向および分光分布を推定可能であるか実験を行い，提案手法の有効性を検討した結果，提案手法により光ディスクから光源方向と分光分布を推定可能であることが示された．現在はこれらの結果を英文論文誌に投稿するために準備している．また，光線空間からの自由視点画像生成に関する研究を並行して行い，光線空間から構造色の光源環境推定に関する知見を得た．
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
1つ目のサブトピックについては，成果の英文論文誌への投稿を準備しており，順調に進展している．2つ目以降のサブトピックについては現在，光線空間のモデリング手法について並行して研究を進めており，この研究成果を構造色からの光源環境推定にフィードバックする予定である．
|
| Strategy for Future Research Activity |
今後も当初計画に沿って，残り2つのサブトピックに関する研究を進めていく．まず，複数構造色パターンからの光源推定である．シーン中に複数の光源が存在する場合，参照物体上で観測される構造色パターンは複数光源に由来する光の重ね合わせとなる．このとき，単一の参照物体からでは，シーン中の各光源方向や分光分布を良好に分離推定することが著しく困難となることが予想される．そこで，複数の構造色参照物体をシーンに配置し，複数の構造色パターンを同時に観測することで複数光源のパラメータを分離推定することを考える．次に，光線空間解析による多様な推定についても検討を進める予定である．研究代表者はこれまでに，単一構造色物体からの光源環境推定と並行して，光線空間からの自由視点画像生成に取り組んでいる．この研究で得られた知見を構造色のモデリングにフィードバックすることで，構造色からの光源推定を加速させることを検討している．
|
| Causes of Carryover |
コロナ禍により旅費の使用額が当初想定を下回った．一方で令和５年度は旅費として必要となる金額が増加することが見込まれるため，次年度使用額は令和5年度の旅費として使用する予定である．
|
Research Products
(2 results)
