2017 Fiscal Year Annual Research Report
光線情報の計算的変換による3次元視覚処理技術体系の構築
| Project/Area Number |
15H05314
|
|---|
| Research Institution | Nagoya University |
|---|
Principal Investigator |
高橋 桂太 名古屋大学, 工学研究科, 准教授 (30447437)
|
|---|
| Project Period (FY) |
2015-04-01 – 2019-03-31
|
| Keywords | ライトフィールド / コンピュテーショナルフォトグラフィ / 圧縮センシング / 3次元ディスプレイ |
|---|
| Outline of Annual Research Achievements |
本研究の目的は、空間を飛び交う光線を3次元視覚情報の単位と考え、光線データの計算的変換処理を基盤として、多様なデータ形式間での相互変換を可能とし、3次元視覚情報の取得、処理、表示を統一的に包含する技術体系を構築することである。本研究は、(a) 3次元撮影方式、(b)3次元表示方式、(c)統一的体系化、の3つの部分から構成される。
(a)に関しては、符号化開口カメラによる撮影方式を中心に、多眼カメラ、レンズアレイ型カメラによる撮影手法についても並行して検討した。符号化開口カメラにおいては、主成分分析や非負値行列因子分解を用いて光線情報の基底を導き、それらの基底に基づいて開口パターンや復元アルゴリズムを設計する手法を開発した。この手法は計算コストが低いため標準的な計算機で高速に実行でき、またカメラ実機を用いた実験を通して有効性も確認できている。
(b)に関しては、レイヤ型ディスプレイおよびレンズアレイ型ディスプレイにおける実写映像の表示に取り組んだ。レイヤ型ディスプレイにおいては、表示映像よりも高精細なディスプレイデバイスを用いることで、飛び出し量の大きな表示物体の空間周波数の上限を向上させ、映像の鮮明度を改善できることを明らかにした。また、その際に、高精細ディスプレイの階調数（ビット深度）を削減して情報量を落としても、映像に大きな劣化を生じないことも確認した。
(c)に関しては、25視点の多眼カメラやレンズアレイ型カメラを用いて撮影した実写映像を適切に変換することで、レイヤ型ディスプレイおよびレンズアレイ型ディスプレイ表示する技術を確立し、適切な立体感を得るための撮影条件や変換手法を明らかにした。また、光線情報の直線構造やスパース性に着目し、光線情報の補間や雑音除去を実現する数理的枠組みおよびアルゴリズムを検討した。
|
| Current Status of Research Progress |
Current Status of Research Progress
1: Research has progressed more than it was originally planned.
Reason
実施計画に記述した内容に加え、幾つかの点で予定以上の進捗があった。
符号化開口カメラについては、符号化パターンと光線空間の復元手法の設計において、主成分分析に加えて非負値行列因子分解が有効であることを見出し、実機カメラでの実験まで進めることができた。また、さらなる高品質化を目指すため、ニューラルネットワークを用いたアプローチにも新たに取り組んでいる。
レイヤ型ディスプレイにおいては、ディスプレイデバイスの高精細化によって飛び出し量の大きな表示物体の鮮明度を改善できたことは、実施計画時の予定を超えた進捗である。また、レイヤ型ディスプレイにおける多視点画像の視点モデルとして透視投影型と平行投影型を相互に比較し、見え方の違いなどを議論できたのも新たな進捗である。
さらに、撮影から表示までを一貫して扱う点においては、単に要素技術を直列に接続するだけではなく、適切な立体感を得るための条件にまで踏み込めたことは、予定を超えた進捗である。
|
| Strategy for Future Research Activity |
本研究を構成する、(a)3次元撮影方式、(b)3次元表示方式、(c)統一的体系化、に分けて平成30年度の推進方策を述べる。
(a)については、符号化開口カメラによる撮影方式を中心に、取得される光線空間のさらなる質向上をめざす。これまでの研究においては、主成分分析や非負値行列因子分解による手法に取り組んで来たが、新たな方法として取り組みつつあるニューラルネットワークを用いたアプローチはこの目的に有効であると見込んでいる。
(b)については、既にレイヤ型ディスプレイのプロトタイプを試作するなどハードウェア面の検討は一段落している。(c)の文脈において、必要な改善や調整を加えるものとする。
(c)については、3次元映像の撮影から表示までを結びつける一連の計算的変換の流れを構築することが課題となる。多眼カメラ、レンズアレイ型カメラに加えて、フォーカルスタック撮影や符号化開口カメラで得られたデータから3次元ディスプレイでの表示の流れを確立し、多様な撮影方式の得失や、適切な立体感を得るための条件を明らかにしたい。また、光線情報に固有な構造に着目することで、補間や雑音除去等の処理を高品質化・高効率化する手法を確立したい。
|
