2015 Fiscal Year Annual Research Report
光線情報の計算的変換による3次元視覚処理技術体系の構築
| Project/Area Number |
15H05314
|
|---|
| Research Institution | Nagoya University |
|---|
Principal Investigator |
高橋 桂太 名古屋大学, 工学(系)研究科(研究院), 准教授 (30447437)
|
|---|
| Project Period (FY) |
2015-04-01 – 2019-03-31
|
| Keywords | ライトフィールド / コンピュテーショナルフォトグラフィ / 圧縮センシング / 3次元ディスプレイ |
|---|
| Outline of Annual Research Achievements |
本研究の目的は、空間を飛び交う光線を3次元視覚情報の単位と考え、光線データの計算的変換処理を基盤として、多様なデータ形式間での相互変換を可能とし、3次元視覚情報の取得、処理、表示を統一的に包含する技術体系を構築することである。本研究は、(a)3次元撮影方式、(b)3次元表示方式、(c)統一的体系化、の3つの部分から構成される。
(a)に関しては、商用のLytro Illumカメラおよび符号化開口カメラを用いて検討を行った。Lytro Illumに関しては、解像度の限界に着目し、撮影された多視点画像の解像度を数倍に向上させる超解像手法を開発した。符号化開口カメラに関しては、限られた撮影データから多視点画像を得る圧縮センシングにおいて、重み付きDCT基底を用いた信号復元技術を開発した。さらに、九州大学の所有する符号化開口カメラを用いて撮影実験を行い、明るさのムラなど、実機に固有の問題を明らかにした。
(b)に関しては、バックライトの前方に液晶を積層するレイヤ型の表示方式を検討した。この方式では、表示したい多視点画像を入力として与え、これらの入力データから最適なレイヤのパターンを求める逆問題を解く。本研究では、ディスプレイで再現される空間周波数に関する理論的解析に基づき、高品質な映像表示を実現するための入力多視点画像の条件を明らかにした。また、この条件の妥当性を、実写映像を用いて実験的に検証した。
(c)に関しては、多視点カメラで撮影されたデータをレイヤ型ディスプレイに表示する課題に取り組んだ。撮影された多視点画像をそのまま扱う代わりに、自由視点映像生成技術を用いて条件を適切に満たす多視点画像に変換する技術を開発した。また、多視点画像の信号的性質を分析し、圧縮センシングにおける画質劣化の分析や、高速・高精度な奥行き推定技術に向けた検討を行った。
|
| Current Status of Research Progress |
Current Status of Research Progress
1: Research has progressed more than it was originally planned.
Reason
実施計画に記述した内容に加え、幾つかの面で予定以上の進捗がある。
符号化開口カメラに関しては、既にカメラの実機を試作している九州大学のグループの協力を得ることができた。結果として、プロジェクトの早期に実際のカメラを用いた実験に取りかかることができ、実機に固有の問題を明らかにすることができた。
レイヤ型のディスプレイにおいては、計算機シミュレーションだけではなく、OHPシートや液晶パネルを用いたプロトタイプの製作にも着手し、当初の予定よりも早く研究を進められている。また、ディスプレイへの実写映像の表示においては、多視点カメラに加えて、レンズアレイ方式のカメラによる映像を試みるなど、当初の予定よりも広範囲に取り組むことができている。
光線情報の信号的性質についても、新たな理解が得られている。まず、圧縮センシングにおいて、被写体の奥行きに応じて復元品質に違いが出る現象を明らかにし、この違いが多視点画像における視差に起因することを示した。また、光線情報の信号的構造から奥行き推定を行う課題に取り組み、エピポーラ平面画像に対して事前にせん断変形をほどこすことで、従来よりも広範囲な奥行きに対応した奥行き推定が可能になることを明らかにした。
|
| Strategy for Future Research Activity |
平成27年度の成果を基盤として、以下のように研究を推進する。
(a) 3次元撮影方式については、符号化開口方式、レンズアレイ方式を中心に検討を継続する。まず、符号化開口方式において、明るさのムラなど実機に固有の問題に対処する手法に取り組み、圧縮センシングにより実写の多視点画像を取得する技術を確立する。また、多視点画像の復元処理に要する膨大な計算時間に対処するため、アルゴリズムと実装（並列化など）の両面から効率的な実装に取り組む。さらに、静止画像だけではなく、動画像も撮影できる3次元撮影技術を実現する。
(b) 3次元表示方式については、平成27年度の研究により有効性が確認されたレイヤ型のディスプレイに引続き取り組む。液晶を用いたプロトタイプの開発を継続し、実機に固有の問題を解決しつつ、高品質な3次元表示を実現する。また、入力多視点画像データからレイヤパターンを求める演算処理の高速化にも取り組み、動画表示にも対応させる。
(c) 統一的体系化においては、(a)と(b)を橋渡しする検討が中心となる。平成27年度には、カメラアレイによる撮影データをレイヤ型ディスプレイに表示する技術を開発したが、平成28年度以降には、これを他の撮影方式（符号化開口カメラ、レンズアレイ型カメラ）にも拡大し、高品質な表示を実現するための撮影条件を明らかにする。また、撮影と表示を俯瞰する観点から、光線データの計算的変換処理全体の最適化に取り組む。さらに、光線情報の信号的構造の分析に基づき、新たな３次元映像処理手法の開拓を試みる。
|
