2019 Fiscal Year Annual Research Report
Support of instrumental daily life activities based on the four senses of the visually impaired and the environmental sensing of support systems
| Project/Area Number |
19H04500
|
|---|
| Research Institution | University of Tsukuba |
|---|
Principal Investigator |
滝沢 穂高 筑波大学, システム情報系, 准教授 (40303705)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
大矢 晃久 筑波大学, システム情報系, 教授 (30241798)
青柳 まゆみ 愛知教育大学, 教育学部, 准教授 (40550562)
小林 真 筑波技術大学, 保健科学部, 准教授 (60291853)
|
|---|
| Project Period (FY) |
2019-04-01 – 2023-03-31
|
| Keywords | 視覚障がい者 / 物体認識 / 画像認識 / 生活活動 / 支援 / RGBDセンサー / スマートフォン / 監視カメラ |
|---|
| Outline of Annual Research Achievements |
視覚障がい者の生活活動を支援するシステムの開発を行った．具体的には以下の３つの研究項目を実施した．
（１）RGBD センサーを搭載した白杖システムの開発：ASUS Xtion PRO LIVE センサーを白杖に搭載したシステムを開発した．センサーによって得られる距離情報から椅子や階段，エレベータなどの物体を認識し，その有無をバイブレータや音声によって情報提示する．従来研究では，対象物体が他の物体に隠されていない状況での認識実験しか行っていなかったが，今回の研究では，対象物体が人物によって隠されている状況などでの認識実験を行った．人物は視覚障がいユーザの周辺にいる他者を想定しており，より実際の使用状況に近い環境での実験を実施した．
（２）スマートフォンカメラを用いた上り階段の認識手法の開発：スマートフォンカメラで撮影したカラー画像に深層学習（CNN）を適用して上り階段を認識する手法を開発した．従来研究では，RGBDセンサーである Microsoft Kinect，ASUS Xtion PRO LIVE や Intel Real Sence R200 で得た距離情報から上り階段を認識する手法は提案してきたが，今回の研究では１枚のカラー画像から階段を認識する手法を開発した．画像をパッチと呼ばれる小領域に分割，ベクトル化し，CNN に入力するパッチベースの CNN による画像認識手法と，画像全体をベクトル化し，CNN に入力する画像ベースの CNN による画像認識手法の二つの手法を開発し，性能比較を行った．
（３）監視カメラ映像からの白杖使用者の検出手法の開発：監視カメラ映像に，フレーム間差分法を適用して動物体を抽出し，線分解析を行い白杖候補領域を抽出し，その動きから過剰検出を削除し，最後にパッチベースの SVM を適用し，最終的な白杖領域を抽出し，視覚障がい者を検出する．
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
「研究実績の概要」で示した３つの研究項目について進捗状況を報告する．
（１）RGBDセンサーを搭載した白杖システムの開発：椅子，階段，エレベータを認識対象物体とし，それらの物体と白杖に搭載した Xtion PRO LIVE センサーとの間の床面（や階段面）にグリッド点を設定し，そのグリッド点に１～３名の人を配置することで様々なパターンで物体が隠されている状況を再現した．実際のシーンで認識実験を実施し，物体の隠されている割合（遮蔽率）と認識率との関係を調査した．
（２）スマートフォンカメラを用いた上り階段の認識手法の開発：パッチベースのCNNと画像ベースのCNNの二つの認識手法を提案し，屋内外の階段画像に対してオフラインでの実験を実施した．両者に認識精度の差はほとんどなかったが，一方で認識できた画像が他方で認識できないなどの得手不得手があることが分かった．また計算時間は画像ベースの方が数十倍高速であることが分かった．
（３）監視カメラ映像からの白杖使用者の検出手法の開発：大学構内に設けた実験環境にビデオカメラを設置し，ある一人の人物が白杖を使用しながら歩行し，その他複数の人物が（白杖を持たずに）自由な方向と速度で歩き回る動画を撮影し，提案手法を適用した．白杖を使用している人物を高い精度で認識することができたが，人物の輪郭や柱などの線分に偽陽性が発生するなどの問題があることが分かった．また，現状ではリアルタイムでの認識は難しいことも分かった．
|
| Strategy for Future Research Activity |
「研究実績の概要」で示した３つの研究項目についての今後の研究方針を報告する．
（１）RGBDセンサーを搭載した白杖システムの開発：本年度の研究では実験環境での認識実験を行ってきたが，今後は多数の人物が歩き回っているような実際の混雑環境での実験が必要と考える．また，認識可能な物体の種類を増やすことと，システムの小型軽量化，省電力化，特に本システムを多くの視覚障がい者に使って頂くための方策が必要と考える．
（２）スマートフォンカメラを用いた物体認識手法の開発：スマートフォンは多くの視覚障がい者も使用しているとの研究報告があり，支援システムの配備法として最も有力である．本研究では階段（と我々の従来研究で提案したエスカレータ）しか認識できていないので，今後は認識できる物体の種類を増やすことが課題となる．その際，視覚障がい者のニーズにマッチし，さらに認識手法を構築できる可能性の高い物体を視覚障がい者などと議論しながら決定していきたいと考える．
（３）監視カメラ映像からの白杖使用者の検出手法の開発：環境配備型の支援システムとしては監視カメラを用いるものが有力である．特に，駅のプラットフォームなどでは多数の視覚障がい者の落下事故が発生しているので，公共空間での視覚障がい者検出システムの要望は高い．現状では認識性能がまだ不十分であるので，サンプルを収集するとともに，深層学習などの手法を用いながら精度向上を図りたいと考える．
|
Research Products
(10 results)
-
-
-
-
[Presentation] Line drawing aid with Lensen Drawing Kit for the visually impaired2020
Author(s)
Lili Ge, Hotaka Takizawa, Akihisa Ohya (University of Tsukuba, Japan), Mayumi Aoyagi (Aichi University of Education, Japan), Makoto Kobayashi (Tsukuba University of Technology, Japan)
Organizer
Proceedings of LifeTech 2020, IEEE, Vol.1, No.1, pp.264-267
Int'l Joint Research
-
[Presentation] Recognition of White-Cane Users from Surveillance Camera Images Based on Detection of Line Segments2020
Author(s)
Kazusa Sanada, Hotaka Takizawa, Akihisa Ohya (University of Tsukuba, Japan), Mayumi Aoyagi (Aichi University of Education, Japan), Makoto Kobayashi (Tsukuba University of Technology, Japan)
Organizer
Proceedings of LifeTech 2020, IEEE, Vol.1, No.1, pp.268-271
Int'l Joint Research
-
-
-
-
-
