3D Imaging System using Aerial 3D Display

2018 Fiscal Year Annual Research Report

• Project/Area Number: 16K12426
• Research Institution: Tohoku University
• Principal Investigator: 青木 輝勝 東北大学, 未来科学技術共同研究センター, 准教授 (00302787)
• Project Period (FY): 2016-04-01 – 2019-03-31
• Keywords: 3D / Aerial 3D Display / 画像マッチング / 点描画 / 深層学習

Outline of Annual Research Achievements

ディスプレイやスクリーンが存在しない空間上に表示された点描画とデジタル機器を連携させることにより, 表現力豊かな映像コンテンツを空間に映し出すとと もに, インタラクションを行うことが可能なシステムを構築する. これを実現するための中心技術が画像認識（画像マッチング）技術である。本研究が対象とする画像マッチングは, (1)発光体, (2)点描画, (3)半透明という従来画像処理／画像理解分野で研究対象とされることの少なかった被写体を対象としたものである. 平成28年度は、描画点と雑音（孤立点）の正確な識別、描画点同士の正確な接続、背景に発光体が含まれる場合や鏡面反射の強いオブジェクトが含まれる場合の背景除去、などの基本的な技術については解決することができたが、上述の (1) ～ (3) によって生じる具体的な問題として、(A)Aerial 3D Displayとビデオ カメラの周波数の差（非同期性）によって生じるフレーム飛び、（B）Aerial 3D Displayによって描画される点は発光体であり物理的実体を持たないために生じてしまう焦点ぼけ、(C)スマートフォンやヘッドマウントディスプレイの揺れ（手振れ）によって生じる多重描画、などが発生することが明らかとなった。平成29年度は、上述の（A）～（C）の問題を解決するための方策について検討を行った。この結果、簡単なロゴ4種については高い精度で認識できることが実証的に明らかになった。平成30年度は、平成29年度の成果を元に、深層学習（ディープラーニング）の導入を試みた。単純に深層学習を導入するだけでは高い認識精度は得られなかったものの、入力部にて複数枚の画像を加重重畳する処理を加えることにより、大幅に精度向上を図ることができた。さらに、成果デモ用としてCG画像の合成を行うシステムを試作した。