2018 Fiscal Year Annual Research Report
Establishment of comprehensive and fundamental techniques for interaction induced by touching water and fog
| Project/Area Number |
16K21580
|
|---|
| Research Institution | Tokuyama College of Technology |
|---|
Principal Investigator |
古賀 崇了 徳山工業高等専門学校, 情報電子工学科, 准教授 (70452828)
|
|---|
| Project Period (FY) |
2016-04-01 – 2019-03-31
|
| Keywords | インタラクション / フォグディスプレイ / 適応的映像投影 / 赤外線画像処理 / パターン認識 / プロジェクタカメラシステム / インタラクティブアート |
|---|
| Outline of Annual Research Achievements |
本課題では，霧を用いたインタラクティブな映像投影システムを実現するために，フォグディスプレイの形状の変化を画像処理によってリアルタイムに捉え，その形状変化に応じて適切に補正された映像を投影するシステムを構築することに主に取り組んだ．具体的には，近赤外領域の画像を利用したセンシング手法とその処理アルゴリズムの提案により，撮像した霧の形状変化に応じてリアルタイムにインタラクティブな映像投影を実現するプロジェクタ・カメラシステムの基盤技術を確立した．初年度は，研究期間全体を通して使用したフォグディスプレイと映像投影システムを構築し，画像の適切な撮像条件等を明らかにした．二年目にはフィードフォワード的アプローチに基づき，鑑賞者がフォグディスプレイに触れた際の形状変化を事前の観測データを利用して物理シミュレーションによって推定する手法を主に確立した．最終年度はオプティカルフローを利用したフィードバック的アプローチによる霧の形状変化の推定と適応的な投影映像の変化を実現するシステムを構築し，その性能評価を行った．さらに，本課題の最終目的である「霧と水に触れる」総合的なインタラクションを実現するために上記の研究と並行して，水を媒体とするインタラクティブシステムの基盤技術として，水に触れる手の形状のパターン認識手法の確立，Time of Flightカメラの計測歪みを利用した多点同時水深推定アルゴリズムの開発と性能評価などを実施した．最終的に，構築したシステムを用いた卓上型のインタラクティブアートのプロトタイプを構築し，研究を総括した．具体的には，鑑賞者の働きかけにより霧や水の状態が変化すると，それに応じて投影映像やBGMが変化するようなインタラクティブアートのプロトタイプを作成し，国内研究会および国際会議等における報告ならびにデモンストレーションを行った．
|
