マルチモーダル学習による視覚障害者の歩行特徴抽出と移動支援装置の研究開発

2023 Fiscal Year Research-status Report

• Project/Area Number: 23K11977
• Research Institution: University of Yamanashi
• Principal Investigator: 渡辺 寛望 山梨大学, 大学院総合研究部, 准教授 (30516943)
• Co-Investigator(Kenkyū-buntansha): 丹沢 勉 山梨大学, 大学院総合研究部, 准教授 (00452136) ; 小谷 信司 山梨大学, 大学院総合研究部, 教授 (80242618)
• Project Period (FY): 2023-04-01 – 2026-03-31
• Keywords: 環境地図 / 視覚障害者

Outline of Annual Research Achievements

視覚障害者が自立した生活を送るためには単独歩行が必要である．しかしながら，視覚障害者の単独歩行には多くの危険が伴う．駅のプラットホームからの転落や歩道からの飛び出しによる自動車・自転車との接触事故はなくならない．
本研究では，視覚障害者の自立移動支援を目的として歩行中のランドマークや危険な場所を自動的に検出し，使用者に通知することで安全に目的地までナビゲーションするシステムを研究開発する．GPS電波が受信可能な屋外だけでなく，駅構内などのGPS電波が受信できない屋内での移動も可能なシステムを構築する．
2023年度は，GPSの電波が届かない屋内環境において，歩行を記録した．カラー画像に加えて，カメラからの距離（深度）を取得可能なRGB-Depthカメラを用いて，3次元地図と歩行経路を記録した．さらに，カラー画像と深度画像を用いて，壁・床・天井・上り階段を検出し，進行可能な方向を通知する機能をシステムに実装した．晴眼者を被験者として評価実験では，情報提示のタイミングに改善の必要があったが，曲がり角と階段では情報を提示し，目的地までのナビゲーションを実現した．

Current Status of Research Progress

2: Research has progressed on the whole more than it was originally planned.

Reason

2023年度の計画通り，カラー画像と深度画像を用いて，3次元地図と歩行経路を記録した．学習によるランドマークの自動検出には至らなかったが，学習方法を検討した．さらに，カラー画像と深度画像を用いて，進行可能方向を自動的に検出し通知する機能と，ランドマークの上り階段を自動的に検出して通知する機能をシステムに実装した．晴眼者を被験者として評価実験では，情報提示のタイミングに改善の必要があったが，曲がり角と階段では情報を提示し，目的地までのナビゲーションを実現した．

Strategy for Future Research Activity

今後の研究は，カラー画像と深度画像に加えて音情報を同時に収集し，ランドマークの特徴を検討する．さらに，複数人の歩行経路を記録し，学習環境を構築して危険な場所の特徴を検討する．得られた研究成果は，学術講演会や国際会議で発表し，他の視覚障害者・視覚障害者に関係する人・研究者と意見交換を行い，より良いシステムを構築する．

Causes of Carryover

学習環境を構築するために必要なGPU付きコンピュータを物品費として計上していたが，学習方法の検討に留まり環境構築を次年度としたため，次年度使用額が生じた．次年度は学習環境を構築するため，物品費を支出する計画である．さらに，複数人の歩行データの収集実験を実施するために人件費と謝金を計上していたが，実験を安全に進めるために，本年度は研究者と研究協力者による実験を実施した．次年度は，複数人の歩行データを収集する予定であり，人件費および謝金を使用する計画である．