生活空間における水や霧等の光透過物体を媒体とするナチュラルユーザインターフェイス

2019 Fiscal Year Research-status Report

• Project/Area Number: 19K12091
• Research Institution: Kindai University
• Principal Investigator: 古賀 崇了 近畿大学, 産業理工学部, 准教授 (70452828)
• Project Period (FY): 2019-04-01 – 2022-03-31
• Keywords: 赤外線画像処理 / マルチバンド / 画像認識 / プロジェクタカメラシステム / インタラクション

Outline of Annual Research Achievements

本申請課題では、水・霧・水蒸気・物体表面の濡れなどの我々の生活空間に遍在するこれらの対象の状態を、画像認識技術・赤外線画像処理によって捉える基盤技術を確立することを主な目的としている。そのために、本課題では特に赤外線領域におけるマルチスペクトル撮像と深層学習を新たに導入し、前述の対象をより多様な環境下で高精度に画像認識する技術の実現と、多様な環境・目的における応用の拡大を目指している。具体的には、可視光から近赤外までの領域を用いたマルチセンサ・マルチバンド撮像を行うプロジェクタ－カメラシステムを構築し、水・霧・物体表面の濡れ・光を透過する物質などの、対象の状態認識機構を含めた物体の位置検出とカテゴリ分類が可能な画像認識システムの構築とその応用を行う。
本年度は当初の予定通り、複数のイメージセンサによる同時撮像が可能な実験環境の構築を実施した。ここで用いたセンサは、可視光領域を撮像するCMOSセンサ、赤外領域を撮像するCMOSセンサ、近赤外領域を撮像するInGaAsセンサ、深度画像を精度良く得るための赤外ToF (Time of Flight) センサとし、ToFセンサ以外は光学干渉フィルタを利用して特定波長を中心とした撮像を行うものとした。具体的には、780nm～1000nmの領域に対応するCMOSカメラと1000nm～1700nmの領域に対応するInGaAsカメラを複数台用いてマルチスペクトル画像を得るためのシステムを構成した。また、水・霧・透明物体などの光を散乱させる性質がある物体をToFセンサで撮像すると、深度画像が特異なデータを示すことが予備実験で分かっているため、この仕組みを利用した透明物体認識が実用的な精度で可能であるかについても検証を行った。

Current Status of Research Progress

3: Progress in research has been slightly delayed.

Reason

当初の予定通り、複数のイメージセンサによる同時撮像が可能な実験環境の構築とToFカメラを用いた物体認識の基礎的検討を実施し、基本的な映像撮影条件の検証や映像投影のための基本的ソフトウェアの実装を進めたが、研究代表者の所属機関変更などの事情により、主要な研究機材の新規調達などに時間を要し、ソフトウェアの実装と当初予定したデータ取りなどの実施に遅れが生じている。一方で、今後利用する深層学習の環境構築などについては当初より予定を前倒しして実施している。

Strategy for Future Research Activity

当初の計画より遅れが生じていることから、今後は遅れが生じている撮像システム実装と調整の早期完了を目指し、このシステムを利用した撮像環境において、多様な物体と水・霧・濡れを組み合わせた様々な状況を作り出し、データ取得の実施およびデータセット作成を行う。その後、遅れを挽回すべく前倒しで実施している深層学習の環境構築と物体認識のアルゴリズムの開発に繋げられるよう研究を進める。また、赤外領域における画素分布を分析するなどの信号処理アプローチに基づいた処理から得られた結果を深層学習に反映することで、認識・識別性能の向上を図るための手法も同時に検討を進める。さらにデータセットの公開についても検討を進める。

Causes of Carryover

申請時に、波長の異なるバンドパスフィルタなどの物品を全て初年度購入予定で計上していたが、主要な波長帯で実験を行い、その後の研究の進度に併せて適宜必要なものを調達するように経費の執行計画を若干変更したために次年度使用額が生じた。次年度以降の実験の進捗に合わせて、適宜使用する予定である。