2021 Fiscal Year Research-status Report
視覚障害者の近接空間理解を目的としたハンドサインによる行動認識支援
| Project/Area Number |
20K03101
|
|---|
| Research Institution | Nihon Pharmaceutical University |
|---|
Principal Investigator |
村井 保之 日本薬科大学, 薬学部, 教授 (30373054)
|
|---|
| Project Period (FY) |
2020-04-01 – 2023-03-31
|
| Keywords | 視覚障碍者 / 学習済みAI / 歩行支援 |
|---|
| Outline of Annual Research Achievements |
本研究は、視覚障碍者の行動認識支援、特に、近接空間を理解するための携帯端末による支援を提供することを目標にしているが、環境などの外的要因の分析だけでなく、不十分な情報や手がかりのない状況下での、視覚障碍者が置かれている状況等の内的要因も分析することで、歩行時の偏軌傾向を含む様々な偏行状況を修正する支援手法を構築すること及び、行動認識全般に渡る視覚障碍補償支援を目指している。
本研究で明らかにしようとしているのは、(1)視覚障碍者に見られる偏行状況を修正する手法の確立、(2)学習支援も含めた様々な行動認識支援手法の確立、(3)行動認識を訓練するシミュレータへの展開の３つである。
本年度は、上述の(2)について研究を進めた。前年度の実績を踏まえ行動認識の支援方法として視覚に障碍を持つ利用者が支援システムを利用しやすいインターフェースについて提案し試作した。インターフェースは指を使ったサインによるコマンド入力で、この方法は、周囲の状況を認識するために身につけたカメラに、利用者が指で作ったサインを示し、それを学習済みのAIを用いて指の形状を認識する。認識した指の形状から操作コマンドを確定しシステムに指示を与えるものである。今年度の研究では、周囲の状況取得と指サインの入力用のカメラにAIプロセッサ内蔵の小型で安価なカメラを用い、指サイン認識に学習済みのAIライブラリ（Media Pipe）を用いた。この結果、身につけられる程度の大きさと性能の端末でも実用可能な周辺情報の認識と、指サインによるインターフェースが可能であることを確認できた。また、次年度の研究を進めるためにAIの学習を高速に行える高性能のワークステーションを購入した。
|
| Current Status of Research Progress |
Current Status of Research Progress
3: Progress in research has been slightly delayed.
Reason
本年度の課題である「学習支援も含めた様々な行動認識支援手法の確立」については、行動を支援するためのシステムについて指サインを用いたインタフェースを試作することで、視覚障碍者支援システムとしての機能の強化ができ、おおむに予定通りに進んだ。しかし、学習支援については具体的な成果は出ていない。しかし、利用しやすく強力な学習済みのAIを利用可能となったので、学習状況の認識（指サインで用いた方法で学習者の手や指の動きの認識）が可能となった。また、顔の各部位についても認識可能なので、今後は学習中の利用者の表情や手指の動きから学習状況を分析することが可能である。
試作したシステムは開発者によるテストを行い、有効性を確認できた。研究の経過を国内学会と国際学会で発表を行なった。なお、コロナ禍の影響で視覚障碍者による実験が行えない現状が遅れの一因でもある。
|
| Strategy for Future Research Activity |
次年度（最終年度）は、本年度試作したシステムの改良と視覚障碍者による試験を行う。それと並行して、学習支援に関する手法の確立と、行動認識訓練シミュレータの開発を行う。そのために、視覚障碍者の多種多様な動作や行動、学習中の様子を動画として収集し、それらの画像を機械学習させ、行動認識支援手法の確立を目指す。例えば、視覚障碍が字を書く場合の指の動きをAIで認識・分析し、問題点を見つけ正しく文字が書けるように行動認識を支援する手法を開発する。歩行支援に関しては、駅構内などで安全に歩行可能な場所を的確に提示するために、周囲にいる歩行者の動きに注目し、歩行者が通行した場所は安全に歩行できる場所であると設定し歩行支援を行う。また、複雑な駅構内において進行方向を確定する場合にも歩行者の動きを参考にすることが考えられる。例えば災害時に非常口に向かう場合多くの歩行者が向かう方向が非常口である可能性が高いので、その方向に案内をすることなどが考えられる。そのためAIを用いて周囲の歩行者を認識しその動きや移動方向を分析する必要がある。これらを実現するために必要な機械学習を本年度購入したした機械学習を高速に行えるワークステーションを活用し研究を進める予定である
|
| Causes of Carryover |
学会参加費が計上されていたが、学会がオンライン開催となり旅費の支出がなかったため。
|
