Action recognition support using hand signs to understand proximity space for visually impaired people

2022 Fiscal Year Final Research Report

• Project/Area Number: 20K03101
• Research Category: Grant-in-Aid for Scientific Research (C)
• Allocation Type: Multi-year Fund
• Section: 一般
• Review Section: Basic Section 09070:Educational technology-related
• Research Institution: Nihon Pharmaceutical University
• Principal Investigator: Murai Yasuyuki 日本薬科大学, 薬学部, 教授 (30373054)
• Project Period (FY): 2020-04-01 – 2023-03-31
• Keywords: 視覚障害 / AI / 歩行支援

Outline of Final Research Achievements

In this study, we developed a proximity space understanding support system using a mobile terminal to assist the action recognition of visually impaired people. The system captures the direction of movement with a camera, detects the safe walking area with AI, displays it on display, and announces it with audio. The user adjusts the direction of the camera and the body based on the position of the walking area on display and determines the direction of movement with the help of the height of the sound. This operation has the effect of showing the direction by taking the hand of the visually impaired person. It is expected that this system will enable visually impaired people to walk safely and independently.

Free Research Field

福祉情報工学

Academic Significance and Societal Importance of the Research Achievements

これまで、視覚障害者の歩行支援技術が多く提案されてきたが、主な取り組みは歩行環境画像からの文字認識や横断歩道の識別などの位置特定であり、不十分な情報や手がかりのない状況下での危険回避は困難であった。また、視覚障害者が撮影した画像からの行動認識には、撮影した画像に必要な情報が映っていないなど、行動分析や機械学習に制約があった。
視覚障害者は歩行時に目標に向かいまっすぐに歩けない「偏軌傾向」があり、転落事故の原因であった。このため、視覚に代わって偏軌を修正するために、手を取って示すことが有効な手段とされる。これらの背景から、視覚障害者の歩行支援における近接空間認知支援の開発が求められている。