2020 Fiscal Year Annual Research Report
Support of instrumental daily life activities based on the four senses of the visually impaired and the environmental sensing of support systems
| Project/Area Number |
19H04500
|
|---|
| Research Institution | University of Tsukuba |
|---|
Principal Investigator |
滝沢 穂高 筑波大学, システム情報系, 教授 (40303705)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
大矢 晃久 筑波大学, システム情報系, 教授 (30241798)
青柳 まゆみ 愛知教育大学, 教育学部, 准教授 (40550562)
小林 真 筑波技術大学, 保健科学部, 准教授 (60291853)
|
|---|
| Project Period (FY) |
2019-04-01 – 2023-03-31
|
| Keywords | 視覚障がい者 / 物体認識支援 / 画像認識 / 生活活動 / スマートフォン / 人 / 線画作図 / Lensen Drawing Kit |
|---|
| Outline of Annual Research Achievements |
視覚障がい者の生活活動を支援するシステムの開発を行った．具体的には以下の２つの研究テーマを進めた：
（１）スマートフォンカメラを用いた物体認識手法の開発：スマートフォンカメラで撮影したカラー画像に深層学習（ＣＮＮ）を適用し物体を認識する二つの手法を開発した．一つは画像をパッチと言われる小領域に分割し，CNNに入力し，得られた結果にヒューリスティックスを適用して認識する手法で，もう一つは画像をそのままＣＮＮに入力する手法である．本研究では，階段と椅子を認識対象とし，これら二つの手法を人がいないシーンと，人がいて対象物体の一部が隠されているシーンの画像に適用し，それぞれ性能を比較した．
（２）線画作図支援システムの開発：視覚障がい学生や教員にとって線画の作成は難しい作業の一つである．これまでにも線画作図を支援するシステムは提案されてきたが，書き直しができなかったり，触って確認することができなかったりなどの問題があった．本研究では，Ｌｅｎｓｅｎ Ｄｒａｗｉｎｇ Ｋｉｔという面ファスナーに毛糸で作図するツールを使って作成した図形をカメラ撮影し，事前に用意したテンプレートを，まずＲＡＮＳＡＣによって粗当てはめし，次にテンプレートの制御点を微小移動し，図形全体をアフィン変換することによって精密当てはめする２段階手法によって，作図図形を整形するシステムを提案した．実際の作図画像に適用し，有効性を確認した．
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
「研究実績の概要」で示した２つの研究項目について進捗状況を報告する．
（１）スマートフォンカメラを用いた階段と椅子の認識手法の開発：パッチベースのCNNと画像ベースのCNNの二つの認識手法を提案し，人がいて対象物体の一部が隠されたシーンと，人がいないシーンにそれぞれ適用した．４つのパターンで性能比較を行った結果，二つの手法で認識精度に大きな差はなかったが，認識時間は画像ベースの方が短いことが分かった．
（２）線画作図支援システムの開発：Lensen Drawing Kit で作図した図形にテンプレートを当てはめる手法を実際の作図画像に適用した．電気回路図や数学図形，星座などの図形に本手法を適用し，当てはめの精度と計算の繰り返し回数との関係などを調査し，有効性を評価した．
上記二つの研究についてそれぞれ学会発表を行った．
|
| Strategy for Future Research Activity |
「研究実績の概要」で示した２つの研究項目についての今後の研究方針を報告する．
（１）スマートフォンカメラを用いた物体認識手法の開発：スマートフォンは多くの視覚障がい者も使用しているとの研究報告があり，支援システムの配備法として最も有力である．本研究では階段と椅子を認識対象としているが，他にも認識支援が必要な物体はあり，認識できる物体の種類を増やすことが必要となる．特に，通常の生活活動の支援だけでなく，昨今の COVID-19 の状況で，自宅で自分用のマスクを探すことや，外出先で消毒液ポットを探すことが急務の課題となっており，これらについて視覚障がい者などと議論しながら研究を進めていく必要があると考える．
（２）線画作図支援システムの開発：本年度の研究では目隠し晴眼者が作図した図形に提案手法を適用する初期的検討を行ったが，今後は視覚障がい者が作図した図形に実験することを行う．晴眼者が作図した図形よりも視覚障がい者が作図した図形の方が大きく変形している可能性があるが，その対応策を考えて実験をすすめる．
|
