Support of instrumental daily life activities based on the four senses of the visually impaired and the environmental sensing of support systems
| Project/Area Number |
19H04500
|
|---|
| Research Category |
Grant-in-Aid for Scientific Research (B)
|
| Allocation Type | Single-year Grants |
|---|
| Section | 一般 |
|---|
| Review Section |
Basic Section 90150:Medical assistive technology-related
|
|---|
| Research Institution | University of Tsukuba |
|---|
Principal Investigator |
滝沢 穂高 筑波大学, システム情報系, 教授 (40303705)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
大矢 晃久 筑波大学, システム情報系, 教授 (30241798)
青柳 まゆみ 愛知教育大学, 教育学部, 准教授 (40550562)
小林 真 筑波技術大学, 保健科学部, 准教授 (60291853)
|
|---|
| Project Period (FY) |
2019-04-01 – 2023-03-31
|
| Project Status |
Granted (Fiscal Year 2022)
|
| Budget Amount *help |
¥16,120,000 (Direct Cost: ¥12,400,000、Indirect Cost: ¥3,720,000)
Fiscal Year 2022: ¥4,420,000 (Direct Cost: ¥3,400,000、Indirect Cost: ¥1,020,000)
Fiscal Year 2021: ¥3,380,000 (Direct Cost: ¥2,600,000、Indirect Cost: ¥780,000)
Fiscal Year 2020: ¥3,770,000 (Direct Cost: ¥2,900,000、Indirect Cost: ¥870,000)
Fiscal Year 2019: ¥4,550,000 (Direct Cost: ¥3,500,000、Indirect Cost: ¥1,050,000)
|
|---|
| Keywords | 視覚障がい者 / 支援システム / 環境センシング / 四感覚 / 手段的日常生活活動 / 物体認識支援 / 画像認識 / 生活活動 / スマートフォン / 監視カメラ映像 / 錯覚デバイス / 人 / 線画作図 / Lensen Drawing Kit / 物体認識 / 支援 / RGBDセンサー / 監視カメラ |
|---|
| Outline of Research at the Start |
本研究では，視覚障がい者が自身の四感覚（聴覚，触覚，嗅覚，味覚）と環境に関する知識をフル活用して環境認識し，それでも分からない情報をカメラなどによる環境センシングで補完することによって，旅行や物探しなどの手段的日常生活活動を協働して実施する支援システムを，視覚障がい者と共創して開発する．具体的には以下の３つの研究項目をすすめる．
（ア）視覚障がい者との協働に基づく環境センシング技術の開発．
（イ）視覚障がい者に特化した情報伝達技術の開発．
（ウ）使用者実験によるシステムの性能評価．
|
| Outline of Annual Research Achievements |
視覚障がい者の生活活動を支援するシステムの開発を行った．具体的には以下の３つの研究テーマをすすめた．
（１）スマートフォンカメラと深層学習を用いた椅子の認識手法の開発： スマートフォンカメラで撮影した椅子のカラー画像に深層学習（ＣＮＮ）を適用し，認識する手法を開発した．深層学習としてＬｅＮｅｔやＡｌｅｘＮｅｔ，ＲｅｓＮｅｔなどを用い，さらに画像前処理最適化手法であるマルチチャンネル化技術と組み合わせることによって認識精度が向上することを確認した．
（２）監視カメラ映像からの白杖使用者の認識手法の開発： 白杖使用者と健常歩行者が混在するシーンを撮影したビデオ映像を，深層学習の一種であるＹＯＬＯに入力することによって認識する手法を開発した．この研究では幾何学変換や色変換，重畳処理などの画像前処理を適用することによって認識精度が向上することを確認した．
（３）触覚錯覚デバイスを用いた誘導システムの開発： 特定の方向に引っ張られているような触感を発生させる小型デバイスを白杖に装着し，誘導するシステムを構築した．提案システムと通常の白杖によるユーザ実験を行い，より正確に誘導できることを確認した．
これらの研究成果を電子情報通信学会の研究会やIEEEの国際会議などで報告した．
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
「研究実績の概要」で示した３つの研究項目について進捗状況を報告する．
（１）スマートフォンカメラと深層学習を用いた椅子の認識手法の開発： 室内に設置された１０数種類の椅子しか実験に用いていないが，８０％以上の精度で認識できることが確認できた．また，画像前処理最適化手法であるマルチチャンネル化技術を用いることによって高性能なＲｅｓＮｅｔの性能をさらに引き上げることに成功している．
（２）監視カメラ映像からの白杖使用者の認識手法の開発： 大学構内という限られた環境での実験ではあるが，８０％以上の認識精度を達成した．また本研究では映像の認識精度を評価する方法そのものの開発も行っており，今後の研究への応用が期待できる．
（３）触覚錯覚デバイスを用いた誘導システムの開発： 従来から点字ディスプレイや音階などで視覚障がい者を誘導するシステムは提案されているが，触覚錯覚デバイスを用いている点に本研究の新規性がある．またそのユーザ実験によってシステムの有効性も検証している．
|
| Strategy for Future Research Activity |
本基盤Ｂ研究の最終年度において，これまでの研究を発展させていく．視覚障がい者の生活活動を実質的に支援するためには，一般に入手可能なスマートフォンを用いて物体認識し，視覚障がい者に情報提供することが有効と考えて研究を進めてきた．物体認識の精度を向上させるために深層学習を用いており，８０％以上の精度を達成することができた．また，マルチチャンネル化や幾何学変換，色変換などの前処理が深層学習の精度を向上させる知見も得られ，システム構築のための基礎技術が揃いつつあると考える．今後は，視覚障がい者支援という福祉情報工学における有効性を確認するために，ＣＯＶＩＤ－１９の影響で部分的にしか実施できていないユーザ実験を拡充し，さらに画像前処理を多重的に組み合わせることによって認識精度を向上させる研究を進めることによって画像認識工学における新規性の向上にも努めていく．
|
Report
(3 results)
Research Products
(23 results)
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
[Presentation] Line drawing aid with Lensen Drawing Kit for the visually impaired2020
Author(s)
Lili Ge, Hotaka Takizawa, Akihisa Ohya (University of Tsukuba, Japan), Mayumi Aoyagi (Aichi University of Education, Japan), Makoto Kobayashi (Tsukuba University of Technology, Japan)
Organizer
Proceedings of LifeTech 2020, IEEE, Vol.1, No.1, pp.264-267
Related Report
Int'l Joint Research
-
[Presentation] Recognition of White-Cane Users from Surveillance Camera Images Based on Detection of Line Segments2020
Author(s)
Kazusa Sanada, Hotaka Takizawa, Akihisa Ohya (University of Tsukuba, Japan), Mayumi Aoyagi (Aichi University of Education, Japan), Makoto Kobayashi (Tsukuba University of Technology, Japan)
Organizer
Proceedings of LifeTech 2020, IEEE, Vol.1, No.1, pp.268-271
Related Report
Int'l Joint Research
-
-
-
-
-
