Computer vision based on direct measurement of light transport
Project/Area Number |
20K20629
|
Research Category |
Grant-in-Aid for Challenging Research (Pioneering)
|
Allocation Type | Multi-year Fund |
Review Section |
Medium-sized Section 61:Human informatics and related fields
|
Research Institution | Nara Institute of Science and Technology |
Principal Investigator |
向川 康博 奈良先端科学技術大学院大学, 先端科学技術研究科, 教授 (60294435)
|
Co-Investigator(Kenkyū-buntansha) |
日浦 慎作 兵庫県立大学, 工学研究科, 教授 (40314405)
|
Project Period (FY) |
2020-07-30 – 2026-03-31
|
Project Status |
Granted (Fiscal Year 2022)
|
Budget Amount *help |
¥24,700,000 (Direct Cost: ¥19,000,000、Indirect Cost: ¥5,700,000)
Fiscal Year 2025: ¥2,600,000 (Direct Cost: ¥2,000,000、Indirect Cost: ¥600,000)
Fiscal Year 2024: ¥3,900,000 (Direct Cost: ¥3,000,000、Indirect Cost: ¥900,000)
Fiscal Year 2023: ¥3,900,000 (Direct Cost: ¥3,000,000、Indirect Cost: ¥900,000)
Fiscal Year 2022: ¥5,200,000 (Direct Cost: ¥4,000,000、Indirect Cost: ¥1,200,000)
Fiscal Year 2021: ¥5,200,000 (Direct Cost: ¥4,000,000、Indirect Cost: ¥1,200,000)
Fiscal Year 2020: ¥3,900,000 (Direct Cost: ¥3,000,000、Indirect Cost: ¥900,000)
|
Keywords | 光伝播の直接観測 / 単一光子検出器 / 高時間分解撮影 / 相互反射解析 / 時間分解インバースラジオシティ / 光伝播 / シーン解析 / 単一光子検出 / SPAD |
Outline of Research at the Start |
光源から発せられた光はシーン中で反射や散乱などの光学現象を繰り返す.本研究ではこの光伝播の様子を,数十ピコ秒の超短時間解像度で直接計測する単一光子検出器を利用したデバイスを開発する.さらに,物理モデルに従って光線を追跡し,光伝播の様子を解析するアルゴリズムを開発する.これらのハードウェアとソフトウェアの開発をベースに,コンピュータビジョンによるシーン理解能力を大幅に向上させる.
|
Outline of Annual Research Achievements |
2022年度は,単一光子検出器,ガルバノミラー,及び時間デジタル変換器を組み合わせた高時間分解撮影システムを用いて,大域照明の一つである「映り込み」の解析を行った.この映り込みは,光源を出た光が物体表面で拡散反射し,さらに別の面で鏡面反射する現象であり,我々の生活環境でもよく見られる.実験の結果,照明と計測を同軸系とし,ガルバノミラーで2次元的に走査する計測方法では,映り込みはほとんど観測されないことが明らかとなった.これは,同軸系の場合には,鏡面→拡散面→鏡面という光路となり,反射回数が3回となるために強度が著しく低下することが原因であることを明らかにした.
|
Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
初年度に構築した高時間分解撮影システムを用いて,相互反射や表面下散乱などの様々な大域照明を実際に計測し,どのような光伝播が計測できるかについて概ね明らかとなった.また,照明と観測を同軸系にするか非同軸系にするかによっても計測できる大域照明成分が異なることから,対象によって計測システムの構成を変えることとした.さらに,これまでは計測した光伝播をCGなどで用いられる古典的な物理モデルで解析していた.一方,深層学習による解析も開始し,ニューラル陰関数表面を用いて形状推定するなど,新しい解析法にも取り組んでいる.
|
Strategy for Future Research Activity |
これまでは,ガルバノミラーによる走査によってSPADカメラを模擬していたが,照明を計測を同軸系としていたため,近い将来に入手が容易になるであろうSPAD素子を並べたSPADカメラを完全に模擬しているとは言えないことが明らかとなった.そこで,照明と計測が非同軸系となるように計測システムの構成を変更し,引き続き映り込みの解析を進める.さらに,照明光の波長を変化させることで,光伝播の波長依存性も計測し,解析に役立てる.
|
Report
(3 results)
Research Products
(6 results)