超高速PROCAMSとパーティクル型ディスプレイへの応用

2018 Fiscal Year Annual Research Report

• Project/Area Number: 16H02856
• Research Institution: Tokyo Institute of Technology
• Principal Investigator: 小池 英樹 東京工業大学, 情報理工学院, 教授 (70234664)
• Project Period (FY): 2016-04-01 – 2020-03-31
• Keywords: プロジェクションマッピング / カルマンフィルタ / 予測投影 / 3次元ディスプレイ

Outline of Annual Research Achievements

本研究課題では，空間に浮遊する微小粒子（パーティクル）を高速度カメラで実時間追跡し，各粒子の3次元位置に応じたピクセル値を高速度プロジェクタで投影することで，立体投影を可能とするパーティクル型立体ディスプレイに関する研究を行う．平成30年度は，パーティクルの形状を球体に限定することなく，任意形状のパーティクルに対しても映像が投影できるような拡張を行った．球体の場合には3時限の位置情報だけが取得できれば次の時刻での位置を予測できたが，任意形状の場合には3次元姿勢をも予測する必要がある．そこで，我々は，深層学習の手法を適用し，過去数フレームに渡る物体の形状から，千木の時刻における物体の3次元形状を予測するモデルを実装した．具体的には，モーションキャプチャカメラで撮影された映像から物体の3次元位置と姿勢を取得する．これらはLSTM256を通過した後，物体が自由放物運動中かどうかを予測するネットワーク，計測と投影における位置ずれを予測するネットワーク，同じく計測と投影における姿勢ずれを予測するネットワークにそれぞれ入力される．実験の結果，投影精度は，予測なし，カルマンフィルタ，本手法でそれぞれ，6.63%, 59.36%, 63.55%となり，本手法の有効性が示された．本研究の成果は，国際学会Advanced Visual Interfaces (AVI2020)に採択され，発表予定である．

Current Status of Research Progress

2: Research has progressed on the whole more than it was originally planned.

Reason

深層学習ネットワーク設計の試行錯誤で時間がかかったが，任意物体の3次元姿勢予測と実時間投影が可能となった．

Strategy for Future Research Activity

プロジェクタ及びカメラのフレームレートの上限のために，現状では比較的大きな物体の追跡と投影しか行えないが，高フレームレートの機材を使用することで，物体を小型化することも可能となると考えている．