2017 Fiscal Year Research-status Report
「水と霧に触れる」総合的インタラクション技術の基盤確立
| Project/Area Number |
16K21580
|
|---|
| Research Institution | Tokuyama College of Technology |
|---|
Principal Investigator |
古賀 崇了 徳山工業高等専門学校, 情報電子工学科, 准教授 (70452828)
|
|---|
| Project Period (FY) |
2016-04-01 – 2019-03-31
|
| Keywords | フォグディスプレイ / インタラクション / 適応的映像投影 / 赤外線画像処理 / パターン認識 / プロジェクタカメラシステム / インタラクティブアート |
|---|
| Outline of Annual Research Achievements |
本申請課題では，ユーザが触れることにより生じるフォグディスプレイの形状変化を推定し，その変化に応じたインタラクティブな映像投影を実現するフォグディスプレイ・カメラシステムの基盤技術を確立することを主な目的としている．本年度前半は，既成のセンサを利用したハンドトラッキングおよびハンドジェスチャ認識機構を利用し，ユーザが霧に触れた際の形状変化を計算機上であらかじめシミュレーションしておいた結果を用いてフィードフォワード的に適応的映像投影を行うシステム（前年度に開発済）の改良を重点的に行なった．具体的には，動画像処理によってフォグディスプレイの形状変化をリアルタイムに推定し，投影映像を補正するためのフィードバック的アプローチによる処理を実現するために，光源・カメラの配置および配光，光学フィルタの使用条件などについて検討を行うと共に，動画像処理によって形状推定を行うためのアルゴリズムの開発と評価を実施した． その結果，形状の概形をリアルタイムで推定するという目的が概ね達成されたが，さらなる精度の向上が必要である．さらに本申請課題では，「霧に触れる」ことを特徴とするインタラクティブなインスタレーションのための基盤技術を確立するため，赤外線画像から腕の動きや手の詳細な形状を精度よく認識する動画像処理アルゴリズムも必要となる．そこで，当初の計画のうち，実時間でのハンドトラッキングとジェスチャ認識処理を実現するためのシステム開発を実施した．具体的には，CoHoG特徴量とランダムフォレストを組み合わせた赤外線動画像処理系を構築し，検出精度と計算速度ともに実用的なレベルの結果を得た．
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
本年度は，画像処理により霧の形状変化を捉えるための撮像系に関する検討と，基本的な動画像処理のアルゴリズムの検討が完了した．さらに本申請課題では，「霧に触れる」ことを特徴とするインタラクティブなインスタレーションのための基盤技術を確立するため，赤外線画像から腕の動きや手の詳細な形状を精度よく認識する動画像処理アルゴリズムも必要となる．そこで，当初の計画のうち，実時間でのハンドトラッキングとジェスチャ認識処理を実現するための内容に注力し，CoHoG特徴量とランダムフォレストを組み合わせた赤外線動画像処理系を構築することで，検出精度と計算速度ともに実用的なレベルの認識が可能なシステムを構築した．また，研究成果については国内研究会，国際会議等で適宜報告を行っており，本研究は概ね順調に進展していると言える．
|
| Strategy for Future Research Activity |
現在までの研究が概ね順調に進んでいることから，今後は当初の研究計画通りに，霧の形状変化の推定アルゴリズムの改良および適応的映像投影アルゴリズムの開発を進める．また，本研究で最終的に構築するシステムは高負荷な処理の組み合わせとなることから，それらを実用に耐える処理速度で実現するための並列計算等を利用した実装方法についても同時並行的に研究を進める．また，本課題の実施最終年度となることから，成果の公開を積極的に進める予定である．
|
| Causes of Carryover |
当初予定していた研究報告について，さらに研究を進めてから効果的に発表を行うように発表時期の一部変更を行ったため，当該目的のための費用を次年度使用のために繰り越した．繰越金は研究報告と研究成果の公開の用途に使用する予定である．
|
