Research on natural user interfaces using light-transmitting objects such as water and fog in living spaces

2022 Fiscal Year Final Research Report

• Project/Area Number: 19K12091
• Research Category: Grant-in-Aid for Scientific Research (C)
• Allocation Type: Multi-year Fund
• Section: 一般
• Review Section: Basic Section 61020:Human interface and interaction-related
• Research Institution: Kindai University
• Principal Investigator: KOGA Takanori 近畿大学, 産業理工学部, 准教授 (70452828)
• Project Period (FY): 2019-04-01 – 2023-03-31
• Keywords: 赤外線画像処理 / マルチバンド / 画像認識 / プロジェクタカメラシステム / インタラクション / ナチュラルユーザインターフェイス / 深層学習 / ヒューマンコンピュータインタラクション

Outline of Final Research Achievements

In this project, I worked on establishing fundamental technologies for natural user interfaces to realize interactions between humans and computer systems using water and fog in our living space as a medium. Specifically, I constructed a visible and infrared multi-band imaging system for detecting water and fog, constructed a recognition algorithm for wet objects using deep learning technology, developed a depth estimation method using a ToF camera, and applied and evaluated them to interactive art, showing the potential applications of these technologies.

Free Research Field

画像処理，インタラクティブシステム

Academic Significance and Societal Importance of the Research Achievements

本課題の遂行により，水や霧を媒体として用いたインタラクティブなコンテンツを作成するための基盤的なシステムや画像処理技術を構築することができた．本課題の研究内容がさらに発展することで，水（液体）・霧（気体）の2形態の流体を利用したインタラクションの新奇な研究を誘発する事が予想される．さらには，空中映像技術やXR技術との融合により，映像表現技術等の分野の研究に対しても大きな波及効果をもたらす事が期待される．