水を媒体とするインタラクションを実現するプロジェクタ・カメラシステム

2014 Fiscal Year Research-status Report

• Project/Area Number: 26870812
• Research Institution: Tokuyama College of Technology
• Principal Investigator: 古賀 崇了 徳山工業高等専門学校, 情報電子工学科, 准教授 (70452828)
• Project Period (FY): 2014-04-01 – 2016-03-31
• Keywords: プロジェクタ・カメラシステム / インタラクティブアート / ジェスチャ認識

Outline of Annual Research Achievements

本申請課題では，水を用いたインタラクティブなインスタレーションを実現するための，「水と水以外の物体・影」とを正確に区別できる画像認識システムの構築を主要な目的としている．具体的には，1000nm 以上の近赤外線領域を含むマルチスペクトル画像を用い，撮像した水の形状変化に応じてリアルタイムにインタラクティブな映像投影を実現するプロジェクタ・カメラシステムの基盤技術を確立することを目指している．
本年度前半は，研究期間全体を通して使用する予定の卓上型プロジェクタ・カメラシステムを構築し，光源の配光方法，光源・光学フィルタの波長，スイッチング手法，カメラの露光パラメータなどの物理的側面から，適切な近赤外マルチスペクトル画像の撮像条件を明らかにした．本研究における主要な課題となる影の検出については、複数波長で撮影した赤外線画像の差分情報を利用することによって実現できることを確認した．
本年度後半は，近赤外マルチスペクトル画像の情報統合手法，特徴量抽出手法，ハンドトラッキング・ジェスチャ認識手法などの開発を行い，リアルタイムに動作するハンドトラッキングアルゴリズムの実装，サポートベクタマシンを用いたジェスチャ認識機構の実装と認識性能の評価までを実施した．実装したこれらの手法はリアルタイムでの動作を確認しているが，より高精度な処理を目指すために，認識に用いる画像特徴量についてはさらなる検証が必要である．また，特徴量の変更によって生じる計算量の増加などの問題についても次年度以降に検証を行っていく必要がある．

Current Status of Research Progress

2: Research has progressed on the whole more than it was originally planned.

Reason

当初の予定通り，卓上型のプロジェクタ・カメラシステムを試作し，光源の種類・配光方法・赤外線フィルタの波長の組合せなどについて検証を行い，リアルタイムに動作するハンドトラッキングアルゴリズムの実装，サポートベクタマシンを用いたジェスチャ認識機構の実装が平成26年度中に行えていることから，本研究は概ね順調に進展していると言える．複数種類の光源の組合せおよびInGaAsカメラとCMOSカメラの情報統合についても順調に検証を進め，実用的な条件でプロジェクタ・カメラシステムが利用できている．トラッキングおよびジェスチャ認識部分についても，次年度以降に実施予定の特徴量の改善やアルゴリズム相互間での情報フィードバック機構の付加に注力するための十分な準備ができている．

Strategy for Future Research Activity

現在までの研究が順調に進んでいることから，今後は当初の研究計画通りに，赤外線マルチスペクトル画像を用いて手の形状や動きを精度よく認識する動画像処理アルゴリズムを開発する．リアルタイムのハンドトラッキング・ジェスチャ認識を実現するために，パーティクルフィルタ（PF）とサポートベクターマシン（SVM）の組み合わせを基盤とした動画像処理系を改良しながら，検出精度と計算速度の向上を目指す．また，高精度なトラッキングを実現するために，PF によるトラッキング結果とSVM によるジェスチャ認識結果とを相互にフィードバックする機構を導入する．これらの手法を実用に耐える処理速度で実現するためには並列計算を念頭に置いた実装が必要であるため、GPGPU による並列計算を利用して解決を図る．

Causes of Carryover

申請時に，成果の展示に必要となるライティンググリッド関係用品など初年度購入予定で計上していたが，研究の主要な課題を解決した後に実際の展示計画を立ててから必要な物品を調達するように計画を変更したために次年度使用額が生じた．

Expenditure Plan for Carryover Budget

InGaAｓカメラ・SWIRレンズや光源，光学フィルタなどの主要な物品については初年度の経費にて導入したため，次年度については，外部における成果物の展示に向けて必要な機材（モバイルコンピュータ，ライティンググリッド関係用品）の購入などに物品費を充てる予定である．消耗品費については，光源などの消耗部品交換およびPC関連消耗品の購入に充てる予定である．さらに，本研究に関連する最新の技術動向の調査，研究成果の国内研究会・国際会議・外部機関における展示などに旅費を使用する予定である．