2020 Fiscal Year Research-status Report
生活空間における水や霧等の光透過物体を媒体とするナチュラルユーザインターフェイス
| Project/Area Number |
19K12091
|
|---|
| Research Institution | Kindai University |
|---|
Principal Investigator |
古賀 崇了 近畿大学, 産業理工学部, 准教授 (70452828)
|
|---|
| Project Period (FY) |
2019-04-01 – 2022-03-31
|
| Keywords | 赤外線画像処理 / マルチバンド / 画像認識 / プロジェクタカメラシステム / インタラクション / ナチュラルユーザインターフェイス / 深層学習 / 光透過性 |
|---|
| Outline of Annual Research Achievements |
本申請課題では、水・霧・水蒸気・物体表面の濡れなどの我々の生活空間に遍在するこれらの対象の状態を、画像認識技術・赤外線画像処理によって捉える基盤技術を確立することを主な目的としている。そのために、本課題では特に赤外線領域におけるマルチスペクトル撮像と深層学習を新たに導入し、前述の対象をより多様な環境下で高精度に画像認識する技術の実現と、多様な環境・目的における応用の拡大を目指している。具体的には、可視光から近赤外までの領域を用いたマルチセンサ・マルチバンド撮像を行うプロジェクタ－カメラシステムを構築し、水・霧・物体表面の濡れ・光を透過する物質などの、対象の状態認識機構を含めた物体の位置検出とカテゴリ分類が可能な画像認識システムの構築とその応用を行っている。本年度は、前年度に構築した複数のイメージセンサによる同時撮像が可能な実験環境の改良を実施した。ここで用いたセンサは、可視光領域を撮像するCMOSセンサ、赤外領域を撮像するCMOSセンサ、近赤外領域を撮像するInGaAsセンサ、深度画像を精度良く得るための赤外ToF (Time of Flight) センサとし、ToFセンサ以外は光学干渉フィルタを利用して特定波長を中心とした撮像を行うものである。また、水・霧・透明物体などの光を散乱させる性質がある物体をToFセンサで撮像すると、深度画像が特異なデータを示すことが予備実験で分かっているため、この仕組みを利用した水の検出とその水深推定透明物体認識が実用的な精度で可能であるかについても検証を行った。本年度は、上記のToFセンサによる撮像の際に得られる特異なデータを利用した水の認識と水深の推定について重点的に検討を行い、応用としてインタラクティブアートととして利用できることを示し、論文としてまとめて投稿を行った。
|
| Current Status of Research Progress |
Current Status of Research Progress
4: Progress in research has been delayed.
Reason
本年度は特に、Time of Flight(ToF)カメラの計測ひずみを利用して、カメラの視野内にある容器内の水を検出し、その水深を推定するための原理・アルゴリズムの検討とインタラクティブアートとしての応用について検証を行い、その成果をまとめた論文投稿を行った。この論文についてはすでに採録が決定している。さらに、近赤外領域の画像を利用して、水の表面に生じる波の状態を可視化するための画像処理方法の基礎的検討を行った。一方で、新型コロナウイルス感染症の影響による研究外業務の肥大化と研究補助の人手不足などが原因で主要な計画の一部については遂行が遅れている。当初予定していた研究計画のうち、装置の作成・改良、深層学習アルゴリズムの検討やToFカメラを用いた実験部分、基礎的な画像処理部分の検討については研究を進めることができたが、人手と時間を要するデータ収集、データセット作成およびそれらを利用した深層学習による認識などの実験が予定通り進んでいない状況にある。現状では、これらの研究計画遅延の要因は解消されているため、今後は研究計画を整理し、遅れている項目について挽回できるようにする必要がある。
|
| Strategy for Future Research Activity |
当初の計画より遅れが生じていることから、今後は遅れが生じている部分について重点的に研究を推進する。特に、作成した撮像システムを利用した環境において、多様な物体と水・霧・濡れを組み合わせた様々な状況を作り出し、データ取得の実施およびデータセット作成を行う。その後、遅れを挽回すべく物体認識のアルゴリズムの開発に繋げられるよう研究を進める。また、赤外領域における画素分布を分析するなどの信号処理アプローチに基づいた処理から得られた結果を深層学習に反映することで、認識・識別性能の向上を図るための手法も同時に検討を進める。さらにデータセットの公開についても検討を進める。
|
| Causes of Carryover |
当初予定していた研究報告について、新型コロナウィルスの影響による学会のオンライン開催などの影響により、当該目的のための費用を次年度使用のために繰り越した。繰越金は主に研究報告と研究成果の公開の用途に使用する予定である。また、データ収集、実験の際に一部物品の追加購入が見込まれるため、繰越金の一部（物品費の未執行分）をその費用に充当する。
|
