Development of a tactile map learning system using tactile devices

Research Project

Project/Area Number	19K21759
Research Category	Grant-in-Aid for Challenging Research (Exploratory)
Allocation Type	Multi-year Fund
Review Section	Medium-sized Section 9:Education and related fields
Research Institution	Nagoya Institute of Technology
Principal Investigator	Ishimaru Hirokazu 名古屋工業大学, 工学(系)研究科(研究院), 技術職員 (00534330)
Project Period (FY)	2019-06-28 – 2021-03-31
Project Status	Completed (Fiscal Year 2020)
Budget Amount *help	¥1,040,000 (Direct Cost: ¥800,000、Indirect Cost: ¥240,000) Fiscal Year 2020: ¥260,000 (Direct Cost: ¥200,000、Indirect Cost: ¥60,000) Fiscal Year 2019: ¥780,000 (Direct Cost: ¥600,000、Indirect Cost: ¥180,000)
Keywords	触図 / 疑似触覚 / ハンドトラッキング / 視覚障害 / 学習支援 / 視覚障害者 / 画像処理
Outline of Research at the Start	触図という触って分かる凹凸の付いた図を利用した学習ツールは種々開発が行われているが、晴眼者向けの教材を加工するなどして事前に触図を作成する必要があり、準備に時間と労力を要する。本研究では、Webカメラで映した凹凸のない図（晴眼者向けの教材）を触ったとき、指に振動を与えることであたかも凹凸のある触図を触っているかのような疑似触覚を実現し、音声案内で自主学習できるツールの開発を行う。
Outline of Final Research Achievements	A variety of learning tools using tactile maps have been developed, but the creation of tactile maps requires a special three-dimensional copying machine. In addition, as the number of tactile maps increases, it takes time and effort to carry and manage them. In this study, we developed an application that enables self-study by voice guidance without using physical tactile maps by recognizing the position of the learner's fingertips captured by the smartphone camera and vibrating the finger through a vibration device as if the learner is touching an uneven tactile map.
Academic Significance and Societal Importance of the Research Achievements	市販されている触図教材は数が限られているため、晴眼者向けの教材を加工するなどして触図を作成することが多い。しかし、触図を作成するためには専用の用紙や立体コピー機等が必要となり容易とは言い難い。本研究では、スマートフォンと振動デバイスを用いることで凹凸のある触図を利用せずに図の学習を行うアプリの開発を行っており、可搬性の向上やコスト削減に加えて晴眼者向けの教材を簡単な編集で利用できるようになり得ると考える。