Upper Limb Motion Analysis Based on Sensor Data of Body-conducted Sound and Inertial Measurement Unit

2023 Fiscal Year Final Research Report

• Project/Area Number: 21K11989
• Research Category: Grant-in-Aid for Scientific Research (C)
• Allocation Type: Multi-year Fund
• Section: 一般
• Review Section: Basic Section 61020:Human interface and interaction-related
• Research Institution: Tokyo Metropolitan Industrial Technology Research Institute
• Principal Investigator: SASAKI Akinori 地方独立行政法人東京都立産業技術研究センター, 技術支援本部地域技術支援部墨田支所, 副主任研究員 (30587126)
• Project Period (FY): 2021-04-01 – 2024-03-31
• Keywords: ユーザインタフェース / 動作解析

Outline of Final Research Achievements

This research was aimed to develop a user input device suitable for 3-dimensional representations and interactions in VR/AR systems. Although VR/AR systems show graphics in 3-dimensional representation, user input with conventional input devices, e.g. mouses or gamepads, is constrained to be inherently two-dimensional due to limitations in the devices. Some head-mounted displays recognize hand motions in 3D space with cameras on the head but they require the hand to stay in the camera's field of view, which results in narrowing the space of hand motions. These limitations in user input devices may degrade sense of immersion and user experiences in VR/AR systems. In this research, a user input device was designed to be more suitable for 3-dimensional interactions, estimating user's upper limb motions with heterogeneous sensor data collected from inertial measurement units and microphones on the user's body.

Free Research Field

ヒューマンインタフェース

Academic Significance and Societal Importance of the Research Achievements

様々なシステムを人間が取り扱う際には何らかのユーザインタフェースを介して操作を行う。電信・タイプライタに端を発するキーボードをはじめ、GUIにおけるマウス、スマートフォンにおけるタッチディスプレイのように、システムの需要・実用性・人間行動自体がユーザインタフェースに大きく影響される。かつて様々なキーボードが開発されたように、VR/ARシステムにおけるユーザインタフェースに関して様々な方式が提案されている。一方で、3次元空間における人体の可動性には活用の余地があり、本研究は3次元の映像提示に適合するユーザインタフェースを構成することによりVR・ARシステムの新たな応用の進展を目指したものである。