2017 Fiscal Year Research-status Report
| Project/Area Number |
16K12426
|
|---|
| Research Institution | Tohoku University |
|---|
Principal Investigator |
青木 輝勝 東北大学, 未来科学技術共同研究センター, 准教授 (00302787)
|
|---|
| Project Period (FY) |
2016-04-01 – 2019-03-31
|
| Keywords | 3D / Aerial 3D Display / 画像マッチング / 点描画 |
|---|
| Outline of Annual Research Achievements |
ディスプレイやスクリーンが存在しない空間上に表示された点描画とデジタル機器を連携させることにより, 表現力豊かな映像コンテンツを空間に映し出すとともに, インタラクションを行うことが可能なシステムを構築する. これを実現するための中心技術が画像認識（画像マッチング）技術である。本研究が対象とする画像マッチングは, (1)発光体, (2)点描画, (3)半透明という従来画像処理／画像理解分野で研究対象とされることの少なかった被写体を対象としたものである.
平成28年度は、描画点と雑音（孤立点）の正確な識別、描画点同士の正確な接続、背景に発光体が含まれる場合や鏡面反射の強いオブジェクトが含まれる場合の背景除去、などの基本的な技術については解決することができたが、上述の (1) ～ (3) によって生じる具体的な問題として、 (A)Aerial 3D Displayとビデオカメラの周波数の差（非同期性）によって生じるフレーム飛び、（B）Aerial 3D Displayによって描画される点は発光体であり物理的実体を持たないために生じてしまう焦点ぼけ、(C)スマートフォンやヘッドマウントディスプレイの揺れ（手振れ）によって生じる多重描画、などが発生することが明らかとなった。
本年度（平成29年度）は、上述の（A）～（C）の問題を解決するための方策について検討を行った。この結果、簡単な天気（晴、曇、雨、雪の4種）のロゴについては高い精度で認識できることが実証的に明らかになった。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
Aerial 3D Displayによって描画される3D点群の認識は従来技術と異なる諸問題が発生することが予想されたが、それらの問題が、(A)Aerial 3D Displayとビデオカメラの周波数の差（非同期性）によって生じるフレーム飛び、（B）Aerial 3D Displayによって描画される点は発光体であり物理的実体を持たないために生じてしまう焦点ぼけ、(C)スマートフォンやヘッドマウントディスプレイの揺れ（手振れ）によって生じる多重描画、の３つに集約できることを明らかにした。続いて、描画点と雑音（孤立点）の正確な識別、描画点同士の正確な接続、背景に発光体が含まれる場合や鏡面反射の強いオブジェクトが含まれる場合の背景除去、などの基本的な技術については解決することに成功した。以上の後、これらの課題のうち、（B）については、撮影された焦点ボケ画像からリアルタイムで正しい点の位置を推定する手法を考案して実装した。（C）については、１周分の描画周期を推定する手法を考案し実装した。一方、（A）についてはBezier曲線フィッチングを導入した手法を実装することにより、飛びがあってもある程度元の形状が復元できることを実証した。以上の結果、簡単な天気（晴、曇、雨、雪の4種）のロゴについては高い精度で認識できることが実証的に明らかになった。
|
| Strategy for Future Research Activity |
本研究では、(A)Aerial 3D Displayとビデオカメラの周波数の差（非同期性）によって生じるフレーム飛び、（B）Aerial 3D Displayによって描画される点は発光体であり物理的実体を持たないために生じてしまう焦点ぼけ、(C)スマートフォンやヘッドマウントディスプレイの揺れ（手振れ）によって生じる多重描画、という３つの問題に対して画像処理的改善方策を検討し、その効果を実証した。しかしながら、同時に現試作システムは必ずしも分解能が高くない（すなわち、ロゴ数が増加すると認識精度が下がることが予想される）ことが判明した。そこで、来年度は画像処理的方策とともに深層学習の導入について検討を行う予定である。まず、単純に入力映像を１枚ずつ分割した静止画をDNN (Deep Neural Network)に入力する手法について予備実験を行う。この結果、精度が不十分な場合には、入力映像の分割数を変化させた重畳画像を入力としたり、形状認識のための新しいDNNを導入することにより問題の解決を図る予定である。
|
| Causes of Carryover |
Aerial 3D Display使用料が当初の想定よりも安価であったため168,252円の残額が出た。この残額については、次年度のAerial 3D Display使用料の一部として使用する予定である。
|
