• Search Research Projects
  • Search Researchers
  • How to Use
  1. Back to previous page

Upper Limb Motion Analysis Based on Sensor Data of Body-conducted Sound and Inertial Measurement Unit

Research Project

Project/Area Number 21K11989
Research Category

Grant-in-Aid for Scientific Research (C)

Allocation TypeMulti-year Fund
Section一般
Review Section Basic Section 61020:Human interface and interaction-related
Research InstitutionTokyo Metropolitan Industrial Technology Research Institute

Principal Investigator

SASAKI Akinori  地方独立行政法人東京都立産業技術研究センター, 技術支援本部地域技術支援部墨田支所, 副主任研究員 (30587126)

Project Period (FY) 2021-04-01 – 2024-03-31
Project Status Completed (Fiscal Year 2023)
Budget Amount *help
¥4,160,000 (Direct Cost: ¥3,200,000、Indirect Cost: ¥960,000)
Fiscal Year 2023: ¥650,000 (Direct Cost: ¥500,000、Indirect Cost: ¥150,000)
Fiscal Year 2022: ¥1,690,000 (Direct Cost: ¥1,300,000、Indirect Cost: ¥390,000)
Fiscal Year 2021: ¥1,820,000 (Direct Cost: ¥1,400,000、Indirect Cost: ¥420,000)
Keywordsユーザインタフェース / 動作解析
Outline of Research at the Start

VR/AR映像提示デバイスの利用が広まり始めている。映像提示が3次元的である一方で、ユーザからの入力方式に関しては2次元的であったり、簡易的なモーションキャプチャにより手の動作を計測しているデバイスでも、カメラ視野の制約によりユーザが操作を行える空間が狭くなる課題がある。これは映像提示に際して本来意図した没入感・ユーザ体験を損なうことにつながりうる。そこで本研究では、これらの課題を解決でき、3次元の映像提示に適合するユーザ入力方式の実現を目指し、身体に取り付けた小型マイクロフォンおよび慣性計測ユニットにより計測された異種センサデータに基づく上肢動作の解析に取り組む。

Outline of Final Research Achievements

This research was aimed to develop a user input device suitable for 3-dimensional representations and interactions in VR/AR systems. Although VR/AR systems show graphics in 3-dimensional representation, user input with conventional input devices, e.g. mouses or gamepads, is constrained to be inherently two-dimensional due to limitations in the devices. Some head-mounted displays recognize hand motions in 3D space with cameras on the head but they require the hand to stay in the camera's field of view, which results in narrowing the space of hand motions. These limitations in user input devices may degrade sense of immersion and user experiences in VR/AR systems. In this research, a user input device was designed to be more suitable for 3-dimensional interactions, estimating user's upper limb motions with heterogeneous sensor data collected from inertial measurement units and microphones on the user's body.

Academic Significance and Societal Importance of the Research Achievements

様々なシステムを人間が取り扱う際には何らかのユーザインタフェースを介して操作を行う。電信・タイプライタに端を発するキーボードをはじめ、GUIにおけるマウス、スマートフォンにおけるタッチディスプレイのように、システムの需要・実用性・人間行動自体がユーザインタフェースに大きく影響される。かつて様々なキーボードが開発されたように、VR/ARシステムにおけるユーザインタフェースに関して様々な方式が提案されている。一方で、3次元空間における人体の可動性には活用の余地があり、本研究は3次元の映像提示に適合するユーザインタフェースを構成することによりVR・ARシステムの新たな応用の進展を目指したものである。

Report

(1 results)
  • 2023 Final Research Report ( PDF )

URL: 

Published: 2021-04-28   Modified: 2025-01-30  

Information User Guide FAQ News Terms of Use Attribution of KAKENHI

Powered by NII kakenhi