2018 Fiscal Year Research-status Report
Compressive Acquisition of Dynamic Light Fields
| Project/Area Number |
18K19810
|
|---|
| Research Institution | Nagoya University |
|---|
Principal Investigator |
高橋 桂太 名古屋大学, 工学研究科, 准教授 (30447437)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
長原 一 大阪大学, データビリティフロンティア機構, 教授 (80362648)
|
|---|
| Project Period (FY) |
2018-06-29 – 2021-03-31
|
| Keywords | 光線空間 / コンピュテーショナルカメラ / 圧縮撮像 |
|---|
| Outline of Annual Research Achievements |
光線空間(Light Field)とは、実世界を飛び交う高密度な光線群を用いて，3次元視覚情報の完全な記述を可能にする枠組みである．本研究では，撮影対象に動きがあるダイナミックな光線空間の撮像を課題とする．これはデータ帯域(単位時間あたりのデータ量)の観点から挑戦的である．この問題に対して，本研究では，撮像時にデータ帯域を大幅に圧縮する手法を追究する．すなわち，画像センサが捉えるのは既に圧縮されたデータであり，この圧縮撮像されたデータは，計算処理によって元の光線空間へと復元される．具体的には、コンピュテーショナルカメラ，圧縮センシング，および深層学習の方法論を組み合わせることで，ダイナミック光線空間を，高々数%程度のデータ帯域まで圧縮して取得できる撮像方式の開拓を目指す．
2018年度には，静的な光線空間を対象として，符号化開口を備えたカメラを用いた圧縮撮影に取り組んだ．このカメラの光路上には液晶素子が備えられており，この素子の透過率を電気的に制御することで，開口（絞り）の透過率パターンを変更しつつ撮影することができる．この機構によって一種の符号化が施された撮影画像をもとに，元の光線空間を計算機で復元する．本研究では，深層学習の枠組みのもとで大量の光線空間データを学習データとして用いることで，カメラの透過率パターンと光線空間の復元アルゴリズムを同時に最適化した．結果として，わずか2-4回の撮影画像から，5x5または8x8の視点からなる光線空間を復元できることが明らかになった．提案手法の復元性能は，当該分野の従来手法を定量的に上回るものであった．実際のカメラのハードウェア上でも，提案手法の有効性を実証することができた．
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
2018年度に得られた成果（わずか2-4回の撮影画像から，5x5または8x8の視点からなる光線空間を高品質に復元できること）は，顕著なものであり，主要国際会議でも発表を果たした．このアプローチを発展させることで，今後に取り組む動的光線空間の取得においても有意義な成果が見込まれる．
|
| Strategy for Future Research Activity |
今後も，符号開口カメラを用いた撮影技術の開発を継続する．2018年度の取り組みで明らかになったように，静的光線空間の取得においては，大量の光線空間データを用いた学習ベースのアプローチが有効である．今後は，これを動的光線空間に発展させるため検討を行う．
動的光線空間においては，撮影のたびに，開口の透過率のパターンが変わるだけではなく，被写体も移動に伴う画像の変化も発生する．したがって，撮影画像から光線空間を復元のする際に，動きによる変化と，透過率パターンの切り替えに伴う視差の効果を分離することが必要である．この課題に対処するために，動きを含むような学習データの活用と，深層学習のネットワーク構造の工夫が必要であると考えられる．また，符号化開口カメラにハードウェア上の拡張を加えることも検討し，動的光線空間の効率的な圧縮取得という課題に取り組みたい．
|
Research Products
(5 results)
