2021 Fiscal Year Research-status Report
Computer vision based on direct measurement of light transport
| Project/Area Number |
20K20629
|
|---|
| Research Institution | Nara Institute of Science and Technology |
|---|
Principal Investigator |
向川 康博 奈良先端科学技術大学院大学, 先端科学技術研究科, 教授 (60294435)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
日浦 慎作 兵庫県立大学, 工学研究科, 教授 (40314405)
|
|---|
| Project Period (FY) |
2020-07-30 – 2026-03-31
|
| Keywords | 光伝播の直接観測 / 単一光子検出器 / 高時間分解撮影 / 相互反射解析 / 時間分解インバースラジオシティ |
|---|
| Outline of Annual Research Achievements |
研究２年目となる2021年度は，初年度に構築した単一光子検出器，ガルバノミラー，及び時間デジタル変換器を組み合わせた高時間分解撮影システムを用いて，大域照明の一つである拡散反射による相互反射の解析に取り組んだ．一般に，直接反射成分と相互反射成分が混ざってしまうと，それらを区別することが難しくなるため，光学的な解析も不安定になりやすい．一方，本研究課題で利用する高時間分解撮影システムでは，それら両成分がセンサに到着する時間差をも情報として活用できるため，情報の次元を上げることができ，光学的な解析が容易になる．実際に，拡散反射による相互反射を対象として，物体の３次元形状と表面の反射率を同時に推定できることを確認した．
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
物体表面を小さなパッチに分割し，パッチ間のエネルギーの伝播のモデルに基づいて光学的な解析を行うインバースラジオシティ法を基礎技術とし，これを時間軸に拡張した時間分解インバースラジオシティ法を新たに開発した．この時間分解インバースラジオシティ法では，パッチ間のエネルギーの伝播が時間の関数になっているため，光学的な解析に有利であるだけではなく，形状と反射率の整合性も確認できる．そのため，形状の誤差を修正することも可能となる．そこで，形状を未知とした場合でも，初期形状として平面を与え，整合性が高くなるように反復的に解くことで，反射率と形状の同時推定が可能であることを確認した．
|
| Strategy for Future Research Activity |
拡散反射による相互反射を解析するための古典的なインバースラジオシティ法を時間軸方向に拡張することに成功した．今後は，鏡面反射による相互反射など，これまで難しいとされてきた現象についても，時間軸情報を利用することで解析する手法の開発に取り組む．また，モデル化が難しい光学現象については，深層学習をベースとした解析も検討する．
|
| Causes of Carryover |
世界的な半導体不足によって，購入を検討していたデバイスの納期が大幅に遅れており，入手できる中途半端な性能のデバイスを購入するよりは，次年度に余裕を持って必要なスペックを持ったデバイスを購入するほうが研究が進められると判断した．なお，静止シーンに限定し，単一のSPAD素子とガルバノミラーを組み合わせて代用システムで基礎実験は可能であるため，研究に遅れはない．
|
