Compressive Acquisition of Dynamic Light Fields
| Project/Area Number |
18K19810
|
|---|
| Research Category |
Grant-in-Aid for Challenging Research (Exploratory)
|
| Allocation Type | Multi-year Fund |
|---|
| Review Section |
Medium-sized Section 61:Human informatics and related fields
|
|---|
| Research Institution | Nagoya University |
|---|
Principal Investigator |
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
長原 一 大阪大学, データビリティフロンティア機構, 教授 (80362648)
|
|---|
| Project Period (FY) |
2018-06-29 – 2021-03-31
|
| Project Status |
Completed (Fiscal Year 2020)
|
| Budget Amount *help |
¥6,240,000 (Direct Cost: ¥4,800,000、Indirect Cost: ¥1,440,000)
Fiscal Year 2020: ¥1,560,000 (Direct Cost: ¥1,200,000、Indirect Cost: ¥360,000)
Fiscal Year 2019: ¥2,600,000 (Direct Cost: ¥2,000,000、Indirect Cost: ¥600,000)
Fiscal Year 2018: ¥2,080,000 (Direct Cost: ¥1,600,000、Indirect Cost: ¥480,000)
|
|---|
| Keywords | 光線空間 / 圧縮センシング / 符号化開口法 / 深層学習 / コンピュテーショナルカメラ / 圧縮撮影 / 圧縮撮像 |
|---|
| Outline of Final Research Achievements |
We investigated the technology of acquiring dynamic light fields of moving objects. This is a challenging problem in terms of the data rate (the amount of data per second), because we need to obtain videos from dozens of different viewpoints simultaneously. To tackle this problem, we adopted an approach of compressive sampling, where the original data was first observed (imaged) in a compressed manner, and then reconstructed via a computational process. We used a coded aperture method for compressing imaging, and jointly optimized the aperture pattens and reconstruction algorithm under the framework of deep learning. We also clarified the imaging and learning method that can handle scene motions successfully. Moreover, we validated our method through experiments using real imaging hardware.
|
| Academic Significance and Societal Importance of the Research Achievements |
本研究は、ダイナミックな光線空間の効率的な撮影技術を提案するものである。この技術は、3次元情報の可視化、デプス推定、物体の光学特性の計測など、光線空間の様々な応用において、今後の活用が期待できる。また、従来の研究においても、光線空間の圧縮撮影が議論されているが、被写体が動かないことを想定したものがほとんどであり、被写体の動きへの対応を可能にした本研究の貢献は重要である。さらに、本研究における深層学習を活用した開口パターンの導出手法は、物理的光学系を学習ベースで最適化する枠組みであるディープオプティクスの先端を切り開く研究例と位置付けられ、関連分野に波及効果を与え得るものである。
|
Report
(4 results)
Research Products
(18 results)
