2018 Fiscal Year Annual Research Report
全方位画像と画像認識を用いた屋外移動時における視覚障害者の為のデザイン
| Project/Area Number |
18H03486
|
|---|
| Research Institution | Tokyo Metropolitan University |
|---|
Principal Investigator |
馬場 哲晃 首都大学東京, システムデザイン学部, 准教授 (30514096)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
渡邉 英徳 東京大学, 大学院情報学環・学際情報学府, 教授 (00514085)
釜江 常好 東京大学, 大学院理学系研究科(理学部), 名誉教授 (90011618)
|
|---|
| Project Period (FY) |
2018-04-01 – 2021-03-31
|
| Keywords | 視覚障害者支援 / 画像認識 / ソニフィケーション / 屋外活動 / 深層学習 / 福祉機器 / ファブリケーション |
|---|
| Outline of Annual Research Achievements |
初年度では主に下記を実施した．
１．PCおよびスマートフォン端末において実時間にて物体検出可能なシステム開発：これについてはすでにSSDやYOLOといった物体検出手法を利用し，それらの開発基盤を整えることに注力した．学習に関わる人為的な作業プロセスを見直し，用意したデータセットをシームレスに学習させ，テストするためのフレームワーク開発を終えた．２．視覚障害者支援用途としてのデータセット設計及びテスト可能なデータセット構築：COCOやImagenet等の既存大規模データセットでは本研究開発には対応できないことがわかっていたため，自らそれらデータセット開発をスタートした．念密に議論した32クラスに対し，全体で20,000程度のアノテーションを行った．またヒューマンエラーやアノテーション効率を向上させるため，アノテーションツールキットも合わせて開発した．，３．短時間で効率的なアノテーション手法の開発：上記アノテーションや，実際の動作テストにおけるノウハウから必要なアノテーションに関して議論をし，従来のデータオーグメンテーションとは異なる手法で，短期間に大量のアノテーションデータを作成するためのフレームワークを開発した．本システムはスマートフォン上で動作し，ユーザは5分程度のアノテーションで一つの物体に対して200程度のアノテーションが可能になった．，４．開発データセットによる動作テスト：実際に開発した検出器を利用して，広島平和記念公園や大学周辺にてフィールドワークを行なった．記念碑や段差などの認識に対し，機能することを実地にて確認できた．
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
認識システム部分に関して順調に進められた．ユーザ参加型アノテーション登録につしては大方の設計やインタラクションに関して十分に議論できた．
|
| Strategy for Future Research Activity |
代表者である馬場は2019年度に主にナビゲーション部分に関わる検討を行う.昨年度を通じ収集したデータセットおよび，開発した認識システ ムを用いて，検出された物体をどのような形でユーザにフィードバックするのかを様々なプロトタイピングを元に明らかにしていく.現時点で は音声読み上げを行なっているが，検出物体個数が多い場合は本手法は当事者にとってノイズとなってしまう.そこで，今年度にはフィードバ ック手法にソニフィケーションベースな聴覚，触覚提示を同時に行うことを検討し，実験までを行う.今年度後半ではそれらの結果を元にデバ イスを開発する.分担者の渡邉は昨年度行ったデータ構築設計において，ユーザ参加型アノテーションシステムにおける設計・評価を行う.ま た，現地でデータ収集やユーザ評価なども並行する.分担者の釜江は昨年度同様にandroid用とのシステムをベースに画像処理やGPS，などその 他のセンシング手法に関する可能性検討を継続するほか，フィールドワークやプロジェクト全体のコーディネート役を担う.
|
