2016 Fiscal Year Research-status Report
3D Imaging System using Aerial 3D Display
| Project/Area Number |
16K12426
|
|---|
| Research Institution | Tohoku University |
|---|
Principal Investigator |
青木 輝勝 東北大学, 未来科学技術共同研究センター, 准教授 (00302787)
|
|---|
| Project Period (FY) |
2016-04-01 – 2019-03-31
|
| Keywords | 3D / 点描画 / 形状マッチング |
|---|
| Outline of Annual Research Achievements |
ディスプレイやスクリーンが存在しない空間上に表示された点描画とデジタル機器を連携させることにより, 表現力豊かな映像コンテンツを空間に映し出すとともに, インタラクションを行うことが可能なシステムを構築する. これを実現するための中心技術が, 1.発光体, 2.点描画, 3.半透明という従来画像処理／画像理解分野で研究対象とされることの少なかった被写体を対象とした新しい認識（画像マッチング）技術である. 平成28年度は、Aerial 3D Displayによって映し出される点描画コンテンツとスマートフォン, ヘッドマウントディスプレイなどを連携させるための新しい認識手法（画像マッチング手法）の研究を行った。この結果、描画点と雑音（孤立点）の正確な識別、描画点同士の正確な接続、背景に発光体が含まれる場合や鏡面反射の強いオブジェクトが含まれる場合の背景除去、などの基本的な技術については解決することができたが、上述の 1. ～ 3. によって生じる具体的な問題として、 (A)Aerial 3D Displayとビデオカメラの周波数の差（非同期性）によって生じるフレーム飛び、（B）Aerial 3D Displayによって描画される点は発光体であり物理的実体を持たないために生じてしまう焦点ぼけ、(C)スマートフォンやヘッドマウントディスプレイの揺れ（手振れ）によって生じる多重描画、などが発生することが明らかとなった。これらの問題は互いに関連しており、その解決は容易ではないが、（B）(C)についてはおおよその解決方策が見つかっているため、（A）についても引き続き解決方策を検討することにより、３つの問題すべてを解決することを目指す。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
研究開始当初から、Aerial 3D Displayによって描画される3D点群の認識は従来技術と異なる諸問題が発生することが予想されたが、それらの問題が、(A)Aerial 3D Displayとビデオカメラの周波数の差（非同期性）によって生じるフレーム飛び、（B）Aerial 3D Displayによって描画される点は発光体であり物理的実体を持たないために生じてしまう焦点ぼけ、(C)スマートフォンやヘッドマウントディスプレイの揺れ（手振れ）によって生じる多重描画、の３つに集約できることを明らかにしたことは、第一段階(初年度の実績)としては大きな成果であると言える。また、開発面での成果として、描画点と雑音（孤立点）の正確な識別、描画点同士の正確な接続、背景に発光体が含まれる場合や鏡面反射の強いオブジェクトが含まれる場合の背景除去、などの基本的な技術については解決することに成功した（実装済み）とともに、上述の(A)(B)(C)の課題について思考錯誤を繰り返すことにより、ある程度の解決方策を見出すことができた。実際、実験素材（実験用ビデオ）の種類や質にも依存するが、いくつかの実験素材に対しては3D点群からある程度正確な線描画を出力できる段階に達している。
|
| Strategy for Future Research Activity |
本研究では、(A)Aerial 3D Displayとビデオカメラの周波数の差（非同期性）によって生じるフレーム飛び、（B）Aerial 3D Displayによって描画される点は発光体であり物理的実体を持たないために生じてしまう焦点ぼけ、(C)スマートフォンやヘッドマウントディスプレイの揺れ（手振れ）によって生じる多重描画、という３つの問題が生じることが明らかになった。
これらの課題のうち、（B）については、撮影された焦点ボケ画像からリアルタイムで正しい点の位置を推定する手法を考案し、現在実装を進めているところである。（C）については、１周分の描画周期を推定する手法を考案し、（B）と同様現在実装を進めているところである。（B）(C)に関しては、これらの手法を用いることにより、ある程度の解決につながると考えられる。一方、（A）については現時点で具体的な解決方策が見つかっていないが、Bezier, Splineなどに代表される曲線フィッチングを導入することにより、飛びがあってもある程度元の形状が復元できる可能性があり、今後、実験を進めてゆきたい。
|
| Causes of Carryover |
次年度使用額（B－A)は519円となったが、この金額は研究費の1%未満であり、ほぼ計画通りであるといえる。
|
| Expenditure Plan for Carryover Budget |
次年度使用額については、次年度の消耗品購入費の一部として使用する予定である。
|
