Research on Aerial Handwriting Interface in 3D Space

2022 Fiscal Year Final Research Report

• Project/Area Number: 17K00275
• Research Category: Grant-in-Aid for Scientific Research (C)
• Allocation Type: Multi-year Fund
• Section: 一般
• Research Field: Human interface and interaction
• Research Institution: Toyama Prefectural University
• Principal Investigator: Nakai Mitsuru 富山県立大学, 工学部, 講師 (60283149)
• Project Period (FY): 2017-04-01 – 2023-03-31
• Keywords: 手書き文字 / 空中筆記 / 文字認識 / 個人認証 / ユーザインタフェース / ジェスチャ―インタフェース / バーチャルリアリティ / パターン認識

Outline of Final Research Achievements

In this research, we developed aerial handwriting interface both in real space and virtual space. Specifically, signals obtained from a depth camera, an accelerometer, a forearm surface myoelectric potential sensor, were used as feature vectors for handwriting motion processing. In the real space, invisible characters written in the air were recognized and a person who wrote them were identified. Furthermore, those handwritten characters were visualized in the virtual space. Through these researches, we proposed a natural aerial handwriting interface.

Free Research Field

パターン認識

Academic Significance and Societal Importance of the Research Achievements

研究成果の意義について、応用例を挙げて述べる。現実空間では、空中で文字入力するのでウェアラブルコンピューティングやライフログの記録に適している。筆跡を目視しない入力なので、画面をわき見するという危険行為も避けられる。仮想空間では、任意の場所に文字を書き留めることができる。現実空間の景観を損ねることなく、自身の記録やユーザ間の情報交換として役立つ。空中筆記は筆跡や指の跡を残さないので、非接触でロック解除/文字入力/操作ができる先進的なインタフェースである。