Hands-free/eyes-free interfaces based on active acoustic sensing

2021 Fiscal Year Final Research Report

• Project/Area Number: 18H04104
• Research Category: Grant-in-Aid for Scientific Research (A)
• Allocation Type: Single-year Grants
• Section: 一般
• Review Section: Medium-sized Section 61:Human informatics and related fields
• Research Institution: University of Tsukuba
• Principal Investigator: Shizuki Buntarou 筑波大学, システム情報系, 教授 (20323280)
• Co-Investigator(Kenkyū-buntansha): 高橋 伸 筑波大学, システム情報系, 准教授 (00272691) ; 嵯峨 智 熊本大学, 大学院先端科学研究部(工), 准教授 (10451535) ; 田中 二郎 早稲田大学, 理工学術院(情報生産システム研究科・センター), 教授(任期付) (20251043) ; VASILACHE SIMONA 筑波大学, システム情報系, 助教 (30606934)
• Project Period (FY): 2018-04-01 – 2022-03-31
• Keywords: ジェスチャ入力

Outline of Final Research Achievements

Our sensing method, called Active Acoustic Sensing, can recognize how an object is touched, including grasped, by vibrating the object at various frequencies and observing its response. This research shows that the sensing method can be used to recognize the states of the human body whose shape changes. This research also shows that the change in the detected states can be used as gestures for the hands-free / eyes-free interaction of information equipment.

Free Research Field

ヒューマンコンピュータインタラクション

Academic Significance and Societal Importance of the Research Achievements

「能動的な音響計測による把持状態認識」は、物体がどのように触られているのか（すなわち把持状態）を、物体を様々な周波数で振動させその響き具合を見ることによって簡単に認識できるというシンプルかつ強力な基本原理である。本研究では、これまで境界条件の変化に着目し固い物体（＝形状が変化しない）における把持状態を検出対象としていた基本原理の応用範囲を、形状の変化に着目し人間などの柔らかい物（＝形状が変化する）の状態検出に広げられることを明らかにした。また、身振り手振りに基づくジェスチャは、情報機器のハンズフリー／アイズフリー操作に使えるため、その新たな検出方法を示した点においても本研究成果は有用である。