2023 Fiscal Year Research-status Report
Computer vision based on direct measurement of light transport
| Project/Area Number |
20K20629
|
|---|
| Research Institution | Nara Institute of Science and Technology |
|---|
Principal Investigator |
向川 康博 奈良先端科学技術大学院大学, デジタルグリーンイノベーションセンター, 教授 (60294435)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
日浦 慎作 兵庫県立大学, 工学研究科, 教授 (40314405)
|
|---|
| Project Period (FY) |
2020-07-30 – 2026-03-31
|
| Keywords | 光伝播の直接観測 / 単一光子検出器 / 高時間分解撮影 / 非視線方向撮影 |
|---|
| Outline of Annual Research Achievements |
前年度に引き続き，単一光子検出器を用いて計測した高時間分解データから，直接は観測できない遮蔽物の裏側の３次元形状を復元する手法を開発した．これは，非視線方向撮影（Non-line-of-sight (NLOS) imaging）と呼ばれ，一般的なカメラでは情報が縮退するために解くのが難しい問題であるが，高時間分解計測では光が伝播する過程を捉えることができるため，これをもとに解くことが可能となる．さらに３次元形状をニューラル陰関数表面で表現することで，なめらかかつ詳細な形状復元が可能となった．この成果は，フランス・パリで開催された本分野の国際トップカンファレンスであるICCV2023で発表した．
また，パルスレーザ光源とSPADセンサの双方に偏光板を装着することで，表面下散乱光の偏光・非偏光成分それぞれの時間変化を画像化する解析手法を新たに開発した．偏光成分に比べ，非偏光成分のほうがより広範囲に広がり，かつ長時間持続することを確認した．
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
本研究では，光源から出射された光がシーン中を伝播する様子を高い時間分解能で直接計測することで，シーンをより詳細に理解できるコンピュータビジョン技術の開発を目指している．これまでに，２層構造物体，表面下散乱が生じる半透明物体，強い拡散相互反射が生じる凹面，映り込みが生じる鏡面，直接観測できない遮蔽物の裏側など，これまでのコンピュータビジョンが苦手としてきた複雑な光学現象が生じるシーンの解析において着実な成果を上げている．引き続き，屈折の生じる透明物体の形状計測や，材質ごとに異なる表面下散乱の解析などに取り組んでいく．
|
| Strategy for Future Research Activity |
屈折の生じる透明物体を通過する光線を物理モデルに従って追跡し，高時間分解撮影の結果と比較することで，透明物体を含むシーン全体の形状推定の問題に取り組む．また，材質ごとに異なる表面下散乱の時間遅れをもとに，深層学習によって材質を推定する問題にも取り組む．さらに，近年では安価な単一光子検出器も普及してきたことから，これらを利用した新しい光解析手法の開発にも取り組む．
|
| Causes of Carryover |
本研究では，総額数百万円の高時間分解撮影システムを用いて実験を進めてきたが，近年では，光源，TDC (Time-to-digital converter)，Single Photon Avalanche Diode (SPAD)のすべてを小さな基板に実装した数千円の安価なデバイスが登場するなど，センサの開発速度が著しい．最適な機器構成を選択し，予算を有効活用するために，予算を繰り越している．現システムで基礎実験は可能であるため，研究に遅れはない．
|
