2016 Fiscal Year Annual Research Report
光線情報の計算的変換による3次元視覚処理技術体系の構築
| Project/Area Number |
15H05314
|
|---|
| Research Institution | Nagoya University |
|---|
Principal Investigator |
高橋 桂太 名古屋大学, 工学研究科, 准教授 (30447437)
|
|---|
| Project Period (FY) |
2015-04-01 – 2019-03-31
|
| Keywords | ライトフィールド / 3次元映像 / コンピュテーショナルフォトグラフィ / 多視点映像 |
|---|
| Outline of Annual Research Achievements |
本研究の目的は、空間を飛び交う光線を３次元視覚情報の単位と考え、光線データの計算的変換を基盤として、多様なデータ形式の相互変換を可能とし、3次元視覚情報の取得、処理、表示を統一的に包含する技術体系を構築することである。本研究は、(a) 3次元撮影方式、(b) 3次元表示方式、(c) 統一的体系化、の3つの部分から構成される。
(a) に関しては、符号化開口カメラ、およびレンズアレイ方式のライトフィールドカメラを用いて以下を検討した。符号化開口カメラでは、九州大学との共同研究により、実際のカメラハードウェアを用いて、開口を実現する機構（LCOS）と撮像系との時間同期、開口部分の明るさのムラなどを適切に扱う方式を構築した。同時に、効率的な撮影および多視点画像の復元のために適切な開口パターンについて、光線情報の主成分分析に基づいて理論的に検討した。レンズアレイ方式においては、異なる機構を持つ2種のカメラ（Lytro、Raytrix）から適切な多視点画像を得るための方式を構築した。
(b) に関しては、3層の液晶をバックライト上に積層する方式のレイヤ型3次元ディスプレイのプロトタイプを構築した。また、与えられた多視点映像を適切な液晶の透過パターンへと高速に変換する演算手法を確立した。これらを用いて、様々な多視点映像を3次元表示してその有効性を確認した。
(c)に関しては、光線データの信号的構造の解析に基づき高精度に奥行き情報を推定するために、せん断変形を活用した手法を確立した。また、多様な撮影方式（多眼カメラ、ライトフィールドカメラ、フォーカルスタック）によって得られる光線情報を、レイヤ型3次元ディスプレイに表示する実験を行い、撮影から表示までの体系化に見通しをつけた。
|
| Current Status of Research Progress |
Current Status of Research Progress
1: Research has progressed more than it was originally planned.
Reason
以下に記すように、申請時の計画に記載した内容以上に進展が見られる。
撮影方式に関しては、平成29年度に予定していた、コンピュテーショナルカメラの一種である符号化開口カメラを用いた撮影に既に取り組むことができている。また、当初予定していなかったフォーカルスタック撮影についても有効性を確認しつつある。
表示方式においては、平成28年度に予定していたレイヤ型3次元ディスプレイのプロトタイプ開発が順調に進み、既に二つの学会でデモ展示をし、参加者から好評を得た。
統一的体系化に関しては、撮影から表示までを行う複数の処理フローを考案・実装して有効性を確認しつつある段階である。平成29－30年度に予定していた内容を前倒しして進められている状況である。
|
| Strategy for Future Research Activity |
本研究を構成する、(a)3次元撮影方式、(b)3次元表示方式、(c)統一的体系化、に分けて今後の推進方策を述べる。
(a)については、符号化開口カメラによる撮影方式を中心に、多眼カメラ、レンズアレイ型カメラによる撮影手法についても並行して検討する。符号化開口カメラにおいては、光線情報の主成分分析から導出される最適な開口パターンを実際のハードウェアに実装し有効性を確認する。撮影されたデータから光線情報を復元する処理の高速化し3次元動画撮影の可能性についても追究する。
(b)については、レイヤ型ディスプレイやレンズアレイ型ディスプレイを対象に、3次元映像の品質の限界を定量的に見定めつつ、光線ベースの高画質な3次元表示を追究する。画質を支配する要因として、表示対象となる3次元コンテンツの形状制度だけではなく、表示される奥行きに依存した映像のぼけ（空間周波数の限界）についても綿密に調査し議論する必要がある。
(c)については、様々な撮影方式で得られた光線情報を入力とし計算的変換を経由して3次元表示する一連の技術を構築する。
|
