生活空間における水や霧等の光透過物体を媒体とするナチュラルユーザインターフェイス

2021 Fiscal Year Research-status Report

• Project/Area Number: 19K12091
• Research Institution: Kindai University
• Principal Investigator: 古賀 崇了 近畿大学, 産業理工学部, 准教授 (70452828)
• Project Period (FY): 2019-04-01 – 2023-03-31
• Keywords: 赤外線画像処理 / マルチバンド / 画像認識 / プロジェクタカメラシステム / インタラクション / ナチュラルユーザインターフェイス / 深層学習

Outline of Annual Research Achievements

本課題では特に赤外・短波赤外線領域におけるマルチスペクトル撮像と深層学習を利用し、水，霧，水蒸気，物体表面の濡れなどの我々の生活空間に遍在するこれらの対象の状態をより多様な環境下で高精度に画像認識する技術の実現と、多様な環境・目的における応用の拡大を目指している。具体的には、可視光から近赤外までの領域を用いたマルチセンサ・マルチバンド撮像を行うカメラシステムを構築し、水・霧・物体表面の濡れ・光を透過する物質などの、対象の状態認識機構を含めた物体の位置検出とカテゴリ分類が可能な画像認識システムの構築を継続的に実施している。本年度は、前年度に構築した複数のイメージセンサによる同時撮像が可能な実験装置を高速かつ精度良く動作させるための一部改良を実施した。また、物体の位置検出とクラス分類を行う深層学習アルゴリズムの構築とテストデータを用いた性能評価を中心に研究を遂行した。さらに、マルチバンドで撮像した赤外線画像を用いて、深層学習のネットワークに提示する入力データの適切な前処理方法に関する基礎的検討を実施した。これらの項目の実施により、当初の研究計画で予定していた深層学習による画像認識システムの基盤を構築することができた。また、前述の対象を認識するためにどのようなバンドを利用して撮像すればよいかということに関して知見を得ることができた。次年度以降についても、より多様かつ大量のデータを用いてこれらの部分の研究計画をさらに遂行する予定である。

Current Status of Research Progress

3: Progress in research has been slightly delayed.

Reason

新型コロナウイルス感染症の影響による研究外業務の肥大化と研究補助の人手不足などが原因で主要な計画の一部については遂行がやや遅れている。したがって、2022年度まで1年の研究期間延長を行う。
当初予定していた研究計画のうち、装置の改良、前処理で必要となる画像処理部分、深層学習アルゴリズムの構築と基礎的なデータを用いた性能評価については研究を進めることができたが、人手と時間を要するデータ収集、データセット作成およびそれらを利用した深層学習による認識などの実験についてはさらなるデータの拡充を進める必要がある。

Strategy for Future Research Activity

今後は、当初の計画から遅れが生じている部分について重点的に研究を推進する。特に、作成した撮像システムを利用した環境において、多様な物体と水・霧・濡れを組み合わせた様々な状況を作り出し、より多くのデータ取得を実施し、データセット作成を行う。その後、遅れを挽回すべく物体検知・クラス識別のアルゴリズムの開発・改善に繋げられるよう研究を進める。研究の最終段階では、研究成果を応用したユーザーインターフェイスのプロトタイプを作成することを目標として研究を推進する。

Causes of Carryover

出張の予定が減少したため。また、実験に必要な物品について、一部を現有の物品で賄うことができたため次年度使用額が生じている。未使用額については、出張費用および成果発表費用として主に使用するとともに、実験上必要な一部消耗品の購入に充てる。