2022 Fiscal Year Research-status Report

Computer vision based on direct measurement of light transport

Research Project

Project/Area Number	20K20629
Research Institution	Nara Institute of Science and Technology
Principal Investigator	向川康博奈良先端科学技術大学院大学, 先端科学技術研究科, 教授 (60294435)
Co-Investigator(Kenkyū-buntansha)	日浦慎作兵庫県立大学, 工学研究科, 教授 (40314405)
Project Period (FY)	2020-07-30 – 2026-03-31
Keywords	光伝播の直接観測 / 単一光子検出器 / 高時間分解撮影
Outline of Annual Research Achievements	2022年度は，単一光子検出器，ガルバノミラー，及び時間デジタル変換器を組み合わせた高時間分解撮影システムを用いて，大域照明の一つである「映り込み」の解析を行った．この映り込みは，光源を出た光が物体表面で拡散反射し，さらに別の面で鏡面反射する現象であり，我々の生活環境でもよく見られる．実験の結果，照明と計測を同軸系とし，ガルバノミラーで２次元的に走査する計測方法では，映り込みはほとんど観測されないことが明らかとなった．これは，同軸系の場合には，鏡面→拡散面→鏡面という光路となり，反射回数が３回となるために強度が著しく低下することが原因であることを明らかにした．
Current Status of Research Progress	Current Status of Research Progress 2: Research has progressed on the whole more than it was originally planned. Reason 初年度に構築した高時間分解撮影システムを用いて，相互反射や表面下散乱などの様々な大域照明を実際に計測し，どのような光伝播が計測できるかについて概ね明らかとなった．また，照明と観測を同軸系にするか非同軸系にするかによっても計測できる大域照明成分が異なることから，対象によって計測システムの構成を変えることとした．さらに，これまでは計測した光伝播をCGなどで用いられる古典的な物理モデルで解析していた．一方，深層学習による解析も開始し，ニューラル陰関数表面を用いて形状推定するなど，新しい解析法にも取り組んでいる．
Strategy for Future Research Activity	これまでは，ガルバノミラーによる走査によってSPADカメラを模擬していたが，照明を計測を同軸系としていたため，近い将来に入手が容易になるであろうSPAD素子を並べたSPADカメラを完全に模擬しているとは言えないことが明らかとなった．そこで，照明と計測が非同軸系となるように計測システムの構成を変更し，引き続き映り込みの解析を進める．さらに，照明光の波長を変化させることで，光伝播の波長依存性も計測し，解析に役立てる．
Causes of Carryover	2023年4月にキヤノンが約320万画素のSPADセンサー搭載のレンズ交換式超高感度カメラを開発するなど，メーカーによるSPADカメラの開発状況は目まぐるしく変化している．まだ製品化には至っておらず，実際に商品化される頃には高額になることが予想されるため，予算を繰り越した．なお，静止シーンに限定し，単一のSPAD素子とガルバノミラーを組み合わせて代用システムで基礎実験は可能であるため，研究に遅れはない．