| Project/Area Number |
21K11962
|
|---|
| Research Category |
Grant-in-Aid for Scientific Research (C)
|
| Allocation Type | Multi-year Fund |
|---|
| Section | 一般 |
|---|
| Review Section |
Basic Section 61010:Perceptual information processing-related
|
|---|
| Research Institution | Osaka University |
|---|
Principal Investigator |
浦西 友樹 大阪大学, サイバーメディアセンター, 准教授 (00533738)
|
|---|
| Project Period (FY) |
2021-04-01 – 2025-03-31
|
| Project Status |
Granted (Fiscal Year 2023)
|
| Budget Amount *help |
¥4,160,000 (Direct Cost: ¥3,200,000、Indirect Cost: ¥960,000)
Fiscal Year 2023: ¥1,170,000 (Direct Cost: ¥900,000、Indirect Cost: ¥270,000)
Fiscal Year 2022: ¥1,300,000 (Direct Cost: ¥1,000,000、Indirect Cost: ¥300,000)
Fiscal Year 2021: ¥1,690,000 (Direct Cost: ¥1,300,000、Indirect Cost: ¥390,000)
|
|---|
| Keywords | 拡張現実感 / 光源環境推定 / 構造色 / 自由視点映像生成 / ライトフィールド |
|---|
| Outline of Research at the Start |
本研究の目的は，構造色からのシーンの光源環境推定である．本研究では，数理的なモデルと機械学習の組み合わせにより，観測された構造色パターンから光源の方向や分光分布を推定する手法の確立を目指す．本研究期間においてはまず，シーン中に置かれた単一の構造色パターンからの光源推定に取り組む．次に複数の構造色パターンからの光源推定により，複数の光源がシーン中に存在するときにも機能する光源推定手法に取り組む．さらにこれらのトピックを加速させ，ライトフィールドカメラにより観測されたライトフィールドを入力とすることで，任意形状の構造色物体から光源を推定する手法の確立を発展的な目的としている．
|
| Outline of Annual Research Achievements |
シーンの光源環境推定は，拡張現実における実環境とバーチャル物体の光学的整合性の維持において重要な役割を果たし，さらにロボットの視覚センサとして周辺環境を理解する際にも重要となる処理であるなど，コンピュータビジョンにおいて重要な課題の一つである．本研究では数理モデルとニューラルネットワークを組み合わせて用い，シーンの光源環境を推定する手法の確立を目指している．具体的に本研究課題では，構造色を手がかりとした光源のパラメータ推定を目的とする．構造色とは，薄膜や微粒子，微小な溝など，光の波長以下の微細構造により発生する光路差に起因する発色であり，観測視点および光源の方向に依存して観測される色が変化する特徴を有している．構造色の発色パターンからシーンに存在する光源の方向や分光分布を推定するモデルを，数理・機械学習の両面からアプローチして構築する．
令和5年度においては，当初設定したサブトピックのうちの1つ，単一構造色パターンからの光源推定について，令和4年度に引き続いて取り組んだ．本研究では構造色を発する光ディスクを参照物体として観測し，観測された構造色パターンから発色パターンをモデル化する枠組みを導入した．光源の方向と分光分布が推定可能なニューラルネットワークを構成し，分光分布が既知の光源と全方位カメラを用いて収集したデータを用いてネットワークを学習させた．暗室環境や室内環境にお いて，支配的な光源の方向および分光分布を推定可能であるか実験を行い，提案手法の有効性を検討した結果，提案手法により光ディスクから光源方向と分光分布を推定可能であることが示された．現在はこれらの結果を英文論文誌に投稿するために準備している．また，令和4年度に行った光線空間からの自由視点画像生成に関する研究について，研究成果を論文誌に投稿するための準備を進めた．
|
| Current Status of Research Progress |
Current Status of Research Progress
3: Progress in research has been slightly delayed.
Reason
1つ目のサブトピックについては，昨年度に引き続き英文論文誌への投稿を準備しているが，当初予定より時間を要している．2つ目以降のサブトピックについては現在，光線空間のモデリング手法についての研究について，国内学会で発表を行った．現在，こちらの成果についても論文誌への投稿，および学会発表を準備している．
|
| Strategy for Future Research Activity |
当初計画に基づき，残り2つのサブトピックに関する研究を進めていく．まず，複数構造色パターンからの光源推定である．シーン中に複数の光源が存在する場合，参照物体上で観測される構造色パターンは複数光源に由来する光の重ね合わせとなる．このとき，単一の参照物体からでは，シーン中の各光源方向や分光分布を良好に分離推定することが著しく困難となることが予想される．そこで，複数の構造色参照物体をシーンに配置し，複数の構造色パターンを同時に観測することで複数光源のパラメータを分離推定することを考える．次に，光線空間解析による多様な推定についても検討を進める予定である．研究代表者はこれまでに，単一構造色物体からの光源環境推定と並行して，光線空間からの自由視点画像生成に取り組んでいる．この研究で得られた知見を構造色のモデリングにフィードバックすることで，構造色からの光源推定を加速させることを検討している．
|
