2013 Fiscal Year Research-status Report
リアルタイムProCamによる動的物体のアピアランスエディティング
| Project/Area Number |
25330230
|
|---|
| Research Category |
Grant-in-Aid for Scientific Research (C)
|
| Research Institution | The University of Electro-Communications |
|---|
Principal Investigator |
橋本 直己 電気通信大学, 情報理工学(系)研究科, 准教授 (70345354)
|
|---|
| Project Period (FY) |
2013-04-01 – 2016-03-31
|
| Keywords | 空間投影型AR / 動的物体 / 実時間追跡 / 深度カメラ |
|---|
| Research Abstract |
本研究では、実時間応答が可能なProjector-Camera（ProCam）システムを実現することで、プロジェクタによって制御された光を用いて、動的な実物体の外観（アピアランス）を変化させることを目的としている。その実現のために、平成25年度は、①高速度CameraLink カメラを利用したリアルタイムProCam システムの開発と、②動的物体への映像投影技術の開発を中心に行った。①では、撮影から画像処理、投影につながる一連の処理において大きな問題となる「処理遅延」に着目し、高速度カメラで撮影した映像から対象の動きを認識し、遅延補償に相当する動き予測を実現することで、処理遅延を低減して動いている物体への投影精度を向上させた。また、②では、映像投影を考慮して、深度カメラから得られた情報のみを用いて、対象物体の位置姿勢を認識・追跡する手法を確立した。3次元画像特徴量とICPアルゴリズムによる初期位置合わせの後、確率的な予測フィルタ手法とICPアルゴリズムを組み合わせることで、人が対象物体を手に持って自由に動かしても、その動きを正確に実時間で追跡することが可能になった。その他に、関連する技術の開発としては、動く対象への投影において、プロジェクタが焦点距離変化に対応できるように、ソフトウェアとハードウェアの両面から補正処理を実現した。また、投影映像と実環境における照明条件の違いを解消するために、実物体の簡易撮影からの光学的整合性実現アルゴリズムの提案を行った。
|
| Current Status of Research Progress |
Current Status of Research Progress
1: Research has progressed more than it was originally planned.
Reason
主軸として取り組んだリアルタイムProCam システムの開発に関しては、想定していた理論構築と実装が実現できた。しかし、生じていた遅延量が想定していた量よりも多いことが判明したため、次年度以降に引き続き検討をしていきたい。
その他の関連する技術を多く解決できた点（動的物体への追跡投影、光学的整合性の実現）については、予定していた以上の成果を収めることができた。
|
| Strategy for Future Research Activity |
リアルタイムProCamシステムでは、大きな遅延量に対応した予測手法を実現していきたい。具体的には、実際の人の動きなどからその特徴を学習し（機械学習、deep learning等）、実物体と投影映像のずれ低減を目指す。
実物体への映像投影手法に関しては、これを更に発展させ、投影精度や追跡時間の向上、さらにはより実用的なアプリケーションへの応用に取り組んでいきたい。
また、26年度に予定していた、反射応答特性モデルの構築については新規な取り組みになるため、具体的な課題を見極めつつ、理論構築と実装をバランスよく勧めていきたい。
|
| Expenditure Plans for the Next FY Research Funding |
国際会議での発表にかかる費用が、予定以上に安価に押さえられたため。また、評価実験にかかるコストが予想以上に少なかったため。
評価実験の強化と、今年度予定以上に得られた成果の発表に活用する。
|
