2020 Fiscal Year Research-status Report
視覚障害者の近接空間理解を目的としたハンドサインによる行動認識支援
| Project/Area Number |
20K03101
|
|---|
| Research Institution | Nihon Pharmaceutical University |
|---|
Principal Investigator |
村井 保之 日本薬科大学, 薬学部, 教授 (30373054)
|
|---|
| Project Period (FY) |
2020-04-01 – 2023-03-31
|
| Keywords | 視覚障碍 / AI / 歩行支援 |
|---|
| Outline of Annual Research Achievements |
本研究は、視覚障碍者の行動認識支援、特に、近接空間を理解するための携帯端末による支援を提供することを目標にしているが、環境などの外的要因の分析だけでなく、不十分な情報や手がかりのない状況下での、視覚障碍者が置かれている状況等の内的要因も分析することで、歩行時の偏軌傾向を含む様々な偏行状況を修正する支援手法を構築すること及び、行動認識全般に渡る視覚障碍補償支援を目指している。
本研究で明らかにしようとしているのは、(1)視覚障碍者に見られる偏行状況を修正する手法の確立、(2)学習支援も含めた様々な行動認識支援手法の確立、(3)行動認識を訓練するシミュレータへの展開の３つである。
本年度は、上述の(1)について研究を進めた。具体的には、ウェアラブルカメラを用いて視覚障碍者の行動を認識し、その行動の支援を自動化するシステムの試作を行った。試作では、視覚障碍者がカメラの映像から行動の意味を推定することが難しい点に着目した。その理由は視覚に障碍があるため、カメラの映像が必ずしも行動認識に結びつくような映像になっていないからである。人による行動支援では、支援者が視覚障碍者の手を取って行動を支援する方法がある。例えば、視覚障碍者に対して机上の物の位置を示す場合、単に方向や位置を口頭で伝えるだけでなく、視覚障碍者の手を取ってその方向や位置を示すと効果的である。
そこで本年度の研究では、支援者が手を取る代わりにPCと接続した小型カメラを指先に装着または手に持ち、そのカメラが捉えた画像を事前学習済みの畳み込みニューラルネットワークで認識し、画像に写っている物を音声で利用者に知らせる。利用者は、その中に歩行の目標となる物がある場合その位置をシステムに入力し、その後の動作の支援を行うシステムを試作し、開発者によるテストを行いその有効性を確認した。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
学習済みA Iと小型カメラを用いて視覚障碍者の歩行環境を認識し偏軌を訂正指示を出すシステムの試作が進行中である。試作システムはWebカメラとPCを用いPythonで開発している。試作したシステムは開発者によるテストを行い、有効性を確認できた。研究の経過を国内学会と国際学会で発表を行なった。
ただし、コロナ禍の影響で視覚障碍者による実験が行えない現状があるが、概ね計画通りに行えた。
|
| Strategy for Future Research Activity |
次年度（２年目）は、本年度試作したシステムの改良と視覚障碍者による試験を行う。それと並行して、歩行支援以外の行動認識支援手法を確立する。視覚障碍者の多種多様な動作や行動を動画として収集し、それらの画像を機械学習させることで、個々の行動認識支援手法の確立を目指す。例えば、視覚障碍になると執筆能力が落ちる。英語のようなアルファベットの場合はストロークが連続であるので執筆力が極端に低下することは少ないが、日本語のような平仮名や漢字の場合はストロークが不連続なので運筆状態が発生し、その原因で執筆力が極端に低下する。晴眼者の場合は、無意識下で視覚情報をもとに正しく運筆を行える。さらに、漢字のように部首等が組み合わされていると、視覚で筆跡を追えない限りは正しく書くこともままならない。執筆訓練という学習支援には、それに対応した行動認識支援手法を、数学の図形やグラフを理解する学習支援には、それに対応した行動認識支援手法を、優先順位をつけて個々に解決を図る。視覚障碍者による不正確ないしは誤った視点画像と晴眼者による正しい視点画像をデータセットとし、個人ごとの視覚障碍の程度や状況に合わせて深層学習による対象の行動認識を行って、最終的には個人の状況によらない汎用的な行動認識への支援手法を確立する。これらを実現するために必要な機械学習を高速に行えるワークステーションを購入し研究を進める。
|
| Causes of Carryover |
コロナ禍により研究の一部に制限が生じたため必要な機材の購入予定であった動作追跡カメラの購入を断念し予算を次年度に繰り越した。また、次年度は深層学習を高速に行うための計算機システムの購入を計画している。
|
