2021 Fiscal Year Research-status Report
Lighting Environment Estimation based on Structural Coloration
| Project/Area Number |
21K11962
|
|---|
| Research Institution | Osaka University |
|---|
Principal Investigator |
浦西 友樹 大阪大学, サイバーメディアセンター, 准教授 (00533738)
|
|---|
| Project Period (FY) |
2021-04-01 – 2024-03-31
|
| Keywords | 光源環境推定 / 構造色 |
|---|
| Outline of Annual Research Achievements |
シーンの光源環境推定は，拡張現実における実環境とバーチャル物体の光学的整合性の維持において重要な役割を果たし，さらにロボットの視覚センサとして周辺環境を理解する際にも重要となる処理であるなど，コンピュータビジョンにおいて重要な課題の一つである．本研究では数理モデルとニューラルネットワークを組み合わせて用い，シーンの光源環境を推定する手法の確立を目指している．具体的に本研究課題では，構造色を手がかりとした光源のパラメータ推定を目的とする．構造色とは，薄膜や微粒子，微小な溝など，光の波長以下の微細構造により発生する光路差に起因する発色であり，観測視点および光源の方向に依存して観測される色が変化する特徴を有している．構造色の発色パターンからシーンに存在する光源の方向や分光分布を推定するモデルを，数理・機械学習の両面からアプローチして構築する．
令和3年度においては，設定したサブトピックのうちの1つ，単一構造色パターンからの光源推定に取り組んだ．本研究では構造色を発する光ディスクを参照物体として観測し，観測された構造色パターンから発色パターンをモデル化する枠組みを導入した．光源の方向と分光分布が推定可能なニューラルネットワークを構成し，分光分布が既知の光源と全方位カメラを用いて収集したデータを用いてネットワークを学習させた．暗室環境や室内環境において，支配的な光源の方向および分光分布を推定可能であるか実験を行い，提案手法の有効性を検討した結果，提案手法により光ディスクから光源方向と分光分布を推定可能であることが示された．本研究の成果は国内学会での中間成果の報告を経て，現在実験結果を国内学会に投稿中であり，さらに国際学会への投稿を予定している．
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
3つ設定したサブトピックのうち，1つ目のサブトピックについて良好な結果が得られた．当初実験計画においても初年度で実験を行うことを予定しており，研究計画通りに進展している．
|
| Strategy for Future Research Activity |
今後は当初計画通り，残り2つのサブトピックについて研究を進めていく．
まず，複数構造色パターンからの光源推定である．シーン中に複数の光源が存在する場合，参照物体上で観測される構造色パターンは複数光源に由来する光の重ね合わせとなる．このとき，単一の参照物体からでは，シーン中の各光源方向や分光分布を良好に分離推定することが著しく困難となることが予想される．そこで，複数の構造色参照物体をシーンに配置し，複数の構造色パターンを同時に観測することで複数光源のパラメータを分離推定することを考える．このとき，パラメータとしては光源の数，各光源の方向および分光分布に加え，参照物体の相対的な位置関係も考慮する必要がある．この問題を解決るため，数理モデルのうち特に推定が困難である部分や，計算量が増大することが懸念される部分においてはニューラルネットワークによるモデリングを行い，数理モデルと融合的に用いることで，光学現象を正しく説明しつつ計算量の爆発を抑止するモデルの構築を目指す．
次に，光線空間解析による多様な推定である．光線空間またはライトフィールドとは，本研究課題においてはライトフィールドカメラにより記録された4次元の光線場強度情報を指す．従来のカメラは空間内のある一点に設置され，ある区間にカメラに入射する光の強さを積分し，撮像平面の位置ごとに画像として記録する．一方でライトフィールドカメラは，撮像平面の位置に加え，光の入射方向も区別し，ライトフィールドとして記録する．本項目ではここまでの項目で得られた成果を踏まえ，光源の入射角と法線方向により発色パターンが変化する構造色の局所変化をライトフィールドカメラで観測することで，構造色物体の法線方向を推定する手法に取り組む．
|
| Causes of Carryover |
コロナ禍に伴って国内および国際学会が全てオンライン開催となり，旅費が発生しなくなったため．また，オンライン化に伴って参加を見合わせた学会があったため．
|
Research Products
(2 results)
