2020 Fiscal Year Annual Research Report
| Project/Area Number |
19K21759
|
|---|
| Research Institution | Nagoya Institute of Technology |
|---|
Principal Investigator |
石丸 宏一 名古屋工業大学, 技術部, 技術職員 (00534330)
|
|---|
| Project Period (FY) |
2019-06-28 – 2021-03-31
|
| Keywords | 触図 / 疑似触覚 / ハンドトラッキング / 視覚障害 |
|---|
| Outline of Annual Research Achievements |
触図を利用した学習ツールは種々開発が行われているが、触図の作成には専用の立体コピー機等が必要となる。また、触図の数が多くなると持ち運びや管理に手間がかかるようになる。本研究では、スマートフォンのカメラで映した学習者の指先の位置を認識し、指に振動を与えてあたかも凹凸のある触図を触っているかのような疑似触覚を実装することで、物理的な触図を使用せずに音声案内で自主学習できるアプリの開発を行った。
学習者の指先の位置を認識するには、機械学習によるハンドトラッキングを利用してカメラ画像から人差し指の指先の座標を取得した。この座標を変換することで、スマートフォンに保存してある触図画像上のどこを触れているかを認識するようにした。指への刺激はスマートフォンに接続した振動デバイスを指に装着し、音声信号を通じて振動を与えた。また、触図の点や線との距離に応じて振動の周波数を変化させることで、点や線に近づいている、または離れているといった情報を付加した。複数の触図画像を用いた試行では、単純な図の認識が可能であること、実際の触図と本アプリを利用した場合とで学習中の指の触察動作に違いがあることが判明した。これにより、疑似触覚で触図を認識するには点や線に一定の距離間隔が必要となることが明らかになった。
凹凸のある触図を利用せずに図の学習を行うアプリの開発により、可搬性の向上やコスト削減に加えて晴眼者向けの教材を簡単な編集で利用できるようになり得ると考える。
|
