2019 Fiscal Year Research-status Report
Compressive Acquisition of Dynamic Light Fields
| Project/Area Number |
18K19810
|
|---|
| Research Institution | Nagoya University |
|---|
Principal Investigator |
高橋 桂太 名古屋大学, 工学研究科, 准教授 (30447437)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
長原 一 大阪大学, データビリティフロンティア機構, 教授 (80362648)
|
|---|
| Project Period (FY) |
2018-06-29 – 2021-03-31
|
| Keywords | 光線空間 / コンピュテーショナルカメラ / 圧縮撮影 |
|---|
| Outline of Annual Research Achievements |
符号化開口を備えたカメラを用いて，動的光線空間の圧縮撮影に取り組んだ．2018年度には，同じ撮像系を用いて，静的な光線空間を対象とした検討を行ったが，2019年度にはこれを動的な光線空間に拡張した．具体的には，例えば，5x5視点の動的光線空間（25視点の動画像）を，各時刻につき1枚の画像に圧縮撮影し，その撮影データからもとの光線空間を復元する課題に挑戦した．
静的な対象を撮影する場合，開口の符号化パターンを変更しつつ2－4枚の画像を撮影し，それらから計算機による復元を行うことで，高品質な光線空間を得ることができた．しかし，対象が動的，すわなち，時間軸に沿ってシーンが変化する場合，問題が複雑となる．なぜなら，各時刻において撮影できる画像は1枚だけであり，かつ，時刻をまたぐ撮影画像の変化には，符号化パターンの違い（視差）に起因する変化と，被写体の動きに起因する変化が混在するからである．
本研究ではこれらの課題を2つの技術の組み合わせで克服した．まず，アルゴリズム（撮影と復元処理の両方を含む）の最適化において用いるデータとして，動的な光線空間データセットを用いた．このデータセットは，既存の静的なデータセットに仮想的な動きを与えることで生成した．次に，開口の符号化を，２つのパターンを交互に繰り返すように設計し，連続する３時刻の撮影画像を復元に用いる枠組みを導入した．この枠組みにより，アルゴリズムは，被写体の動きに起因する変化と，符号化パターン（視差）に起因する変化を分離できるようになることが期待される．
シミュレーションおよびカメラの実機を用いた実験を通して，上記の技術の有効性を確認した．
|
| Current Status of Research Progress |
Current Status of Research Progress
1: Research has progressed more than it was originally planned.
Reason
2019年度に得られた成果は顕著なものであり，国内最高峰の学会である画像の認識・理解シンポジウム2019にてMIRU優秀賞を受賞するなど，高い評価を得た．
|
| Strategy for Future Research Activity |
2019年度に開発した技術を洗練・発展させるとともに，他の関連技術との比較・整理を進め，研究成果をより確固たるものとしたい．また，実機を用いた実験では，カラー処理やフレームレート改善など，まだ未着手の課題が残る．さらに，開口面だけではなく撮像面も同時に符号化する方式を用いた動的光線空間の圧縮撮影についても検討したい．
|
| Causes of Carryover |
2020年度初旬に国際会議出席を予定しており計画的に予算を残していた．予定していた国際会議はコロナウイルス蔓延に伴い現地開催が中止となった．残額は，研究成果の取りまとめ（発表等）に使用する見込みである．
|
